[논문 리뷰] InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Xi Chen, Yan Duan외 4명|Ghent University Academic Bibliography (Ghent University)|2016. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 1,246

한 줄 요약

InfoGAN은 정보 이론적 규제를 통해 GAN을 확장하여 잠재 코드의 소수 부분과 생성된 이미지 간의 상호정보를 최대화하고, MNIST, SVHN, CelebA 및 3D 데이터셋 전반에 걸쳐 해석 가능하고 해집된 표현의 비지도 학습을 가능하게 한다.

ABSTRACT

This paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. InfoGAN is a generative adversarial network that also maximizes the mutual information between a small subset of the latent variables and the observation. We derive a lower bound to the mutual information objective that can be optimized efficiently, and show that our training procedure can be interpreted as a variation of the Wake-Sleep algorithm. Specifically, InfoGAN successfully disentangles writing styles from digit shapes on the MNIST dataset, pose from lighting of 3D rendered images, and background digits from the central digit on the SVHN dataset. It also discovers visual concepts that include hair styles, presence/absence of eyeglasses, and emotions on the CelebA face dataset. Experiments show that InfoGAN learns interpretable representations that are competitive with representations learned by existing fully supervised methods.

연구 동기 및 목표

• 복합 시각 데이터에 대한 의미 있는, 해집된 표현의 비지도 학습을 동기화한다.
• 생성기가 잠재 코드가 다양한 의미 요인을 인코딩하도록 장려하여 GAN의 성능을 향상시킨다.
• 상호 정보 규제화가 라벨링 없는 지도학습 없이도 해석 가능한 요인을 도출한다.

제안 방법

• GAN 입력을 압축 불가능한 노이즈 z와 구조화된 잠재 코드 c로 분해한다.
• 보조 분포 Q(c|x)를 통해 상호정보 I(c; G(z,c))의 변분 하한을 최대화한다.
• 모형 VInfoGAN(D, G, Q) = V(D, G) − λ LI(G, Q)로 미니맥스 목적을 설정한다.
• Q를 판별자와 공유되는 신경망으로 매개화하여 엔드-투-엔드 학습을 가능하게 한다.
• Q에서 이산 잠재 코드에는 소프트맥스, 연속 코드에는 대각 가우시안 분포를 사용한다.
• DC-GAN 안정화 기법과 Adam 최적화를 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 상호 정보 규제화가 비지도 GAN 프레임워크에서 해석 가능하고 해집된 잠재 요인을 유도할 수 있는가?
• RQ2 정보 GAN이 라벨 없이도 다양한 데이터세트에서 어떤 의미론적 요인(예: 숫자 유형, 자세, 조명, 머리카락, 표정)을 발견할 수 있는가?
• RQ3 정보 GAN의 성능은 유사한 감독 학습 또는 준감독 학습 접근법과 비교하여 유용한 표현 학습에 있어 어떤 차이를 보이는가?

주요 결과

• InfoGAN은 감독 없이 MNIST, SVHN, CelebA 및 3D 얼굴/의자 데이터셋에서 해집된 표현을 성공적으로 학습한다.
• 이산 잠재 코드는 범주 수준의 변이를 포착하고(MNIST의 숫자 유형 등) 해석 가능한 분류기로 작용한다.
• 연속 잠재 코드는 회전, 너비, 방위, 조명 등 생성된 이미지에 현실적으로 영향을 미치는 매끄러운 변화를 포착한다.
• InfoGAN은 CelebA에서 머리 스타일, 안경 착용 여부, 표정과 같은 의미적 개념을 발견한다.
• 학습된 표현은 다운스트림 작업에서 감독 방법으로 학습된 표현과 경쟁력 있다.