[논문 리뷰] PixelGAN Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|2017. 06. 02.

Generative Adversarial Networks and Image Synthesis인용 수 25

한 줄 요약

이 논문은 잠재 코드에 조건부로 작동하는 PixelCNN 디코더와 GAN 기반 추론 네트워크를 조합한 PixelGAN 오토인코더를 제안한다. 이는 잠재 공간에 임의의 사전 분포를 도입함으로써 표현을 분리할 수 있도록 한다. 서로 다른 사전 분포—예를 들어 정규분포 또는 다항분포—를 사용함으로써, 정규분포 사전은 전반적 특징와 局부적 특징의 분해를 가능하게 하고, 다항분포 사전은 내용과 스타일을 분리시킨다. 이는 최소한의 지도 신호로 MNIST, SVHN, NORB에서 최고 수준의 준지도 분류 성능을 달성한다.

ABSTRACT

In this paper, we describe the "PixelGAN autoencoder", a generative autoencoder in which the generative path is a convolutional autoregressive neural network on pixels (PixelCNN) that is conditioned on a latent code, and the recognition path uses a generative adversarial network (GAN) to impose a prior distribution on the latent code. We show that different priors result in different decompositions of information between the latent code and the autoregressive decoder. For example, by imposing a Gaussian distribution as the prior, we can achieve a global vs. local decomposition, or by imposing a categorical distribution as the prior, we can disentangle the style and content information of images in an unsupervised fashion. We further show how the PixelGAN autoencoder with a categorical prior can be directly used in semi-supervised settings and achieve competitive semi-supervised classification results on the MNIST, SVHN and NORB datasets.

연구 동기 및 목표

• 자기회귀 모델의 표현력과 GAN 기반 추론의 유연성을 결합한 생성 오토인코더를 개발한다.
• 잠재 코드에 임의의 사전 분포를 도입함으로써 표현의 분리 학습을 가능하게 한다.
• 잠재 코드가 관련된 요소들(예: 클래스 레이블)만 캡처하도록 함으로써 준지도 학습 성능을 향상시키며, 자기회귀 디코더는 잔여 구조를 모델링한다.
• 다항분포 사전을 통해 이미지의 스타일과 콘텐츠를 비지도 방식으로 분리할 수 있도록 한다.

제안 방법

• 모델은 입력 이미지 x를 재구성하기 위해 잠재 코드 z에 조건부로 작동하는 PixelCNN을 생성 경로로 사용한다.
• 인식 경로는 입력 x와 노이즈 n을 입력으로 받아 잠재 코드 z를 출력하는 결정론적 신경망 f(x, n)을 사용하며, 이는 암시적 사후분포 q(z|x)를 형성한다.
• 적대적 판별자는 잠재 코드의 집합 사후분포 q(z)와 지정된 사전분포 p(z)를 구분하도록 훈련되며, 이는 잠재 코드가 사전분포를 따르도록 강제한다.
• 모델은 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 생성자는 재구성 손실을 최소화하고, 판별자는 GAN 손실을 최소화한다.
• 다양한 사전분포—정규분포 또는 다항분포—를 도입하여, 잠재 코드와 자기회귀 디코더 사이에서 정보가 어떻게 분해되는지 제어할 수 있다.
• 준지도 학습에서는 다항분포 사전을 사용하여 잠재 코드를 클래스 레이블과 정렬하고, PixelCNN는 스타일과 세부 정보를 모델링한다.

실험 결과

연구 질문

• RQ1 잠재 코드에 정규분포 사전을 도입하면 전반적 특징와 局부적 특징의 분리 분해가 가능한가?
• RQ2 다항분포 사전을 사용하면 콘텐츠와 스타일을 비지도 방식으로 분리할 수 있는가?
• RQ3 PixelGAN 오토인코더는 잠재 공간에서의 재구성 손실에 의존하지 않고도 경쟁적인 준지도 분류 성능를 달성할 수 있는가?
• RQ4 모델의 아키텍처는 잠재 코드가 특정 변동 요소에 집중하도록 하면서 자기회귀 디코더가 잔여 구조를 모델링할 수 있도록 어떻게 지원하는가?
• RQ5 이 모델은 서로 다른 데이터 분포 간의 교차 도메인 매핑을 학습하는 데 확장될 수 있는가?

주요 결과

• 정규분포 사전을 사용하면 이미지 통계의 전반적 대 국부적 분해가 가능해지며, 잠재 코드는 전반적 구조를 캡처하고 PixelCNN는 세부 정보를 모델링한다.
• 다항분포 사전을 사용하면 모델이 비지도 방식으로 콘텐츠(예: 숫자의 정체성)와 스타일(예: 글쓰기 스타일)을 분리하는 것을 학습한다.
• PixelGAN 오토인코더는 MNIST, SVHN, NORB에서 준지도 분류 정확도에서 최고 성능을 기록하며, 이 설정에서 표준 오토인코더와 적대적 오토인코더를 모두 능가한다.
• 재구성 부담이 잠재 코드와 자기회귀 디코더 사이에 분담되기 때문에, 표준 VAE나 AAE보다 더 나은 분리 표현을 달성한다.
• 잠재 코드가 원하는 요소(예: 레이블)만 모델링하도록 하여 효과적인 교차 도메인 매핑이 가능하다. 이는 PixelCNN가 누락된 구조를 캡처하기 때문이다.
• 잠재 공간에서의 완전한 재구성 필요성을 피함으로써, 인코더가 스타일 정보를 유지하도록 강제당하지 않고도 클래스 레이블과 같은 관련 요소에 집중할 수 있다.