[논문 리뷰] Triangle Generative Adversarial Networks

Zhe Gan, Li‐Qun Chen외 6명|arXiv (Cornell University)|2017. 09. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 78

한 줄 요약

Δ-GAN은 두 도메인 간의 반지도학적 공동 분포 매칭을 수행하기 위해 두 개의 생성기와 두 개의 판별기를 도입하여 제한된 짝원 데이터를 통해 양방향 매핑을 가능하게 한다.

ABSTRACT

A Triangle Generative Adversarial Network ($Δ$-GAN) is developed for semi-supervised cross-domain joint distribution matching, where the training data consists of samples from each domain, and supervision of domain correspondence is provided by only a few paired samples. $Δ$-GAN consists of four neural networks, two generators and two discriminators. The generators are designed to learn the two-way conditional distributions between the two domains, while the discriminators implicitly define a ternary discriminative function, which is trained to distinguish real data pairs and two kinds of fake data pairs. The generators and discriminators are trained together using adversarial learning. Under mild assumptions, in theory the joint distributions characterized by the two generators concentrate to the data distribution. In experiments, three different kinds of domain pairs are considered, image-label, image-image and image-attribute pairs. Experiments on semi-supervised image classification, image-to-image translation and attribute-based image generation demonstrate the superiority of the proposed approach.

연구 동기 및 목표

• 두 관련 도메인 간의 반지도학적 공동 분포 매칭을 동기부여하고 다룬다.
• 생성기 두 개, 판별기 두 개로 구성된 네 네트워크 GAN을 제안하여 양방향 조건 분포를 학습한다.
• 완만한 가정 하에 학습된 공동 분포가 데이터 분포로 집중된다는 이론적 보장을 제공한다.
• 이미지-레이블, 이미지-이미지, 속성 기반 등의 도메인 페어에서 분류, 번역, 편집에의 응용을 통해 다양성을 입증한다.

제안 방법

• 두 개의 생성기가 도메인 간의 양방향 조건 분포를 학습한다: p_x(x|y) 및 p_y(y|x).
• 두 개의 판별기가 함께 삼항 판별 함수를 구현하여 실제 페어를 두 가지 종류의 가짜 페어와 구분한다.
• 생성기들과 판별기를 함께 최적화하여 p, p_x, p_y를 일치시킨다.
• 최적 판별자 설정에서 세 개의 공동 분포 간의 Jensen-Shannon 발산과의 등가성.
• 반지도형식은 조건부 GAN 목표를 BiGAN/ALI 목표와 결합하여 짝지어진 데이터와 비짝지어진 데이터를 활용한다.
• 모델은 닫힌 형태의 밀도 없이 조건부 분포로부터 샘플링할 수 있다.

실험 결과

연구 질문

• RQ1 Δ-GAN이 두 도메인 간에 몇 개의 짝지어진 샘플만으로도 정확한 반지도학적 공동 분포 매칭을 달성할 수 있는가?
• RQ2 양방향 생성기가 수렴하여 p_x와 p_y가 실제 조건 분포 p(x|y) 및 p(y|x)를 재현하는가?
• RQ3 이미지-레이블, 이미지-이미지, 속성 등 다양한 도메인 페어 작업에서 Δ-GAN이 관련 방법들(예: Triple GAN)과 어떻게 비교되는가?
• RQ4 반지도 분류, 이미지-이미지 변환, 속성 기반 이미지 생성 등을 포함한 다양한 응용에 대해 Δ-GAN이 효과적인가?

주요 결과

• Δ-GAN은 도메인 페어 간의 공동 분포를 매칭하고 양방향 매핑을 가능하게 한다.
• 이 프레임워크는 이미지 분류, 번역, 속성 조건부 생성과 같은 작업에서 반지도학적 능력을 보여준다.
• 관련 방법과 비교하여 Δ-GAN은 세 개의 공동 분포를 정렬하고 비대칭적인 목표를 피하는 측면에서 이점을 보인다.
• CIFAR-10, MNIST-유사 변환 작업, CelebA 및 COCO에 걸친 실험은 대안들에 비해 경쟁력 있거나 우수한 성능을 보여준다.