[논문 리뷰] Triple Generative Adversarial Nets

Chongxuan Li, Kun Xu외 2명|arXiv (Cornell University)|2017. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 230

한 줄 요약

Triple-GAN은 준지도 학습에서 p(x,y)를 공동으로 모델링하기 위해 생성기, 판별기, 분류기의 세 플레이어를 도입하여, 최첨단 분류 성능을 달성하면서 클래스 조건부 생성 및 잠재 공간 보간을 가능하게 한다.

ABSTRACT

Generative Adversarial Nets (GANs) have shown promise in image generation and semi-supervised learning (SSL). However, existing GANs in SSL have two problems: (1) the generator and the discriminator (i.e. the classifier) may not be optimal at the same time; and (2) the generator cannot control the semantics of the generated samples. The problems essentially arise from the two-player formulation, where a single discriminator shares incompatible roles of identifying fake samples and predicting labels and it only estimates the data without considering the labels. To address the problems, we present triple generative adversarial net (Triple-GAN), which consists of three players---a generator, a discriminator and a classifier. The generator and the classifier characterize the conditional distributions between images and labels, and the discriminator solely focuses on identifying fake image-label pairs. We design compatible utilities to ensure that the distributions characterized by the classifier and the generator both converge to the data distribution. Our results on various datasets demonstrate that Triple-GAN as a unified model can simultaneously (1) achieve the state-of-the-art classification results among deep generative models, and (2) disentangle the classes and styles of the input and transfer smoothly in the data space via interpolation in the latent space class-conditionally.

연구 동기 및 목표

• 두 가지 주요 SSL GAN 문제를 해결: (1) 생성기와 판별기가 동시에 최적이 되지 않을 수 있음, (2) 생성기가 생성 샘플의 의미를 제어할 수 없다는 점.
• 생성기, 분류기, 판별기가 결합 분포 p(x,y)를 모델링하는 세-플레이어 프레이크워크를 제안.
• 호환 가능한 유틸리티를 통해 분포 수렴하도록 분류기와 생성기 분포 모두 데이터 분포로 수렴하도록 보장.

제안 방법

• 세 네트워크: 분류기 C는 p(y|x) 근사, 클래스 조건부 생성기 G는 p(x|y) 근사, 판별기 D는 실제 데이터-레이블쌍과 가짜 데이터-레이블쌍 구분.
• 적대적 손실을 갖는 미니맥스 게임: U(C,G,D) = E_{(x,y)~p(x,y)}[log D(x,y)] + α E_{(x,y)~p_c(x,y)}[log(1−D(x,y))] + (1−α)E_{(x,y)~p_g(x,y)}[log(1−D(G(y,z),y))], (α ∈ (0,1)).
• 고유한 평형점으로 이끄는 감독 규제 항 R_L = E_{(x,y)~p(x,y)}[−log p_c(y|x)]
• 생성 쌍을 분류기(C)에 활용하기 위한 의사 판별 손실 R_P = E_{p_g}[−log p_c(y|x)]
• 학습 절차는 D, C, G를 미니배치 SGD 및 무편향 추정기로 업데이트하는 것과 실용적인 SSL 정규화 포함.

실험 결과

연구 질문

• RQ1 Triple-GAN이 분류기와 클래스 조건부 생성기를 함께 최적화하여 둘 다 실제 데이터 분포로 수렴할 수 있는가?
• RQ2 단일 판별기가 있는 세-플레이어 게임을 도입하면 두-플레이어 SSL GAN에서 관찰된 비호환성을 방지할 수 있는가?
• RQ3 한정된 라벨 하에서 모델이 해제된 클래스와 스타일 요소를 분리 학습하고 의미 있는 클래스 조건부 잠재공간 보간을 가능하게 할 수 있는가?
• RQ4 의사 판별 손실이 반지도학습 분류 및 샘플 생성에 미치는 영향은?

주요 결과

• Triple-GAN은 MNIST, SVHN, CIFAR-10에서 라벨이 제한된 상태로도 딥 제너레이브 모델 중에서 준지도 학습 분류에서 최첨단 성능을 달성.
• 모델은 클래스와 스타일을 분리하고 잠재 공간에서 매끄러운 클래스 조건부 보간을 가능하게 한다.
• 제안된 게임의 평형은 p(x,y) = p_g(x,y) = p_c(x,y)일 때로, 설계된 유틸리티 하에서 C와 G가 데이터 분포로 수렴하는 것을 보장한다.
• 의사 판별 손실 및 기타 SSL 정규화는 분류 정확도와 샘플 품질을 개선한다.
• 실험 결과는 Triple-GAN이 여러 SSL GAN 베이스라인(예: Improved-GAN)보다 데이터셋 전반에 걸쳐 우수하다고 보여주며, SVHN 및 CIFAR-10에서 눈에 띄는 이점을 보인다.