[논문 리뷰] InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Xi Chen, Yan Duan외 4명|arXiv (Cornell University)|2016. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 2,416

한 줄 요약

InfoGAN은 정보 이론적 정규화를 GAN에 확장하여 잠재 코드의 일부와 생성된 이미지 간의 상호 정보를 최대화하고, 이를 통해 해석 가능하고 서로 독립적인(disentangled) 표현의 비지도 학습을 가능하게 한다.

ABSTRACT

This paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. InfoGAN is a generative adversarial network that also maximizes the mutual information between a small subset of the latent variables and the observation. We derive a lower bound to the mutual information objective that can be optimized efficiently, and show that our training procedure can be interpreted as a variation of the Wake-Sleep algorithm. Specifically, InfoGAN successfully disentangles writing styles from digit shapes on the MNIST dataset, pose from lighting of 3D rendered images, and background digits from the central digit on the SVHN dataset. It also discovers visual concepts that include hair styles, presence/absence of eyeglasses, and emotions on the CelebA face dataset. Experiments show that InfoGAN learns interpretable representations that are competitive with representations learned by existing fully supervised methods.

연구 동기 및 목표

• 라벨 없이 해석 가능한 disentangled 표현의 비지도 학습에 대한 동기를 제시한다.
• 의미 있는 잠재 요인을 학습하기 위한 GAN의 정보 이론적 확장을 개발한다.
• 이 방법이 MNIST, SVHN, CelebA, 3D 데이터세트 전반에서 의미론적 개념을 발견함을 보여준다.
• 생성 결과를 의미 있게 제어하도록 잠재 코드를 유의미하게 유도하는 확장 가능하고 학습 가능한 목적함수를 제공한다.

제안 방법

• GAN 입력을 incompressible 노이즈 z와 잠재 코드 c로 분해하여 G(z, c)의 생성을 가이딩한다.
• 최소-최대 목표에서 하이퍼파라미터 λ로 정규화된 상호 정보 항 I(c; G(z, c))를 도입한다.
• 보조 분포 Q(c|x)를 사용하여 P(c|x)를 근사하는 변이적(variational) 하한 LI(G, Q)를 도출한다.
• D, G, Q를 엔드투엔드로 학습하고 V(D, G) − λLI(G, Q)를 최대화하는 간단한 재매개화(trick) 방식을 사용한다.
• Q를 D와 계층을 공유하는 신경망으로 매개화하여 추가 비용을 거의 없도록 한다.
• Q 내부에서 이산 코드에는 softmax를, 연속 코드에는 대각 가우시안(diagonal Gaussian)을 사용한다.

실험 결과

연구 질문

• RQ1 정보 이론적 정규화가 비지도 GAN 프레임워크에서 해석 가능한 잠재 요인을 유도할 수 있는가?
• RQ2 잠재 코드 c가 (예: 숫자 형태, 자세, 조명, 헤어스타일 등) 의미론적으로 의미 있는 변화를 나타내는가? 라벨 없이 다양한 데이터셋에서?
• RQ3 정보 GAN의 학습 표현은 분리성과 다운스트림 작업에의 유용성 측면에서 감독 방법과 어떻게 비교되는가?

주요 결과

• InfoGAN은 MNIST에서 LI(G, Q)를 H(c)로 빠르게 최대화하여 bound가 타이트하고 최대 상호 정보가 달성되었음을 나타낸다.
• MNIST에서 단일 이산 코드가 숫자 유형을 포착하고, 연속 코드는 회전과 너비를 모델링하며 의미 있고 일반화 가능한 변화를 보인다.
• 3D 얼굴과 의자에서 InfoGAN은 방위각, 고도, 조명과 같은 연속 요인과 비지도 학습 없이 연속 자세나 너비 변화 등을 학습한다.
• SVHN에서 InfoGAN은 조명과 중앙 숫자 맥락 등의 요인을 학습하며, 시끄럽고 어지러운 이미지에도 불구하고
• CelebA에서 InfoGAN은 방위각, 안경의 유무, 헤어스타일, 감정을 라벨 없이 발견하여 높은 의미적 분리(disentanglement)를 보여준다.