[논문 리뷰] Adversarial Autoencoders

Alireza Makhzani, Jonathon Shlens외 3명|arXiv (Cornell University)|2015. 11. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 314

한 줄 요약

이 논문은 변동형 추론과 생성적 적대적 네트워크(GANs)를 결합한 적대적 autoencoder(AAE)를 소개한다. AAE는 잠재 코드의 집합된 사후분포를 임의의 사전분포와 일치시키는 생성 모델이다. 인코더가 판별기의 판단을 속임으로써 실제 사전분포에서 온 샘플로 간주되도록 코드를 생성하도록 훈련시킴으로써, AAE는 의미 있는 생성을 가능하게 하고, MNIST, SVHN, 토리onto Face 데이터셋에서 준수된 성능을 달성하며, 분리 가능한 표현 학습과 클러스터링을 가능하게 한다.

ABSTRACT

In this paper, we propose the "adversarial autoencoder" (AAE), which is a probabilistic autoencoder that uses the recently proposed generative adversarial networks (GAN) to perform variational inference by matching the aggregated posterior of the hidden code vector of the autoencoder with an arbitrary prior distribution. Matching the aggregated posterior to the prior ensures that generating from any part of prior space results in meaningful samples. As a result, the decoder of the adversarial autoencoder learns a deep generative model that maps the imposed prior to the data distribution. We show how the adversarial autoencoder can be used in applications such as semi-supervised classification, disentangling style and content of images, unsupervised clustering, dimensionality reduction and data visualization. We performed experiments on MNIST, Street View House Numbers and Toronto Face datasets and show that adversarial autoencoders achieve competitive results in generative modeling and semi-supervised classification tasks.

연구 동기 및 목표

• 기존의 RBM 및 DBN과 같은 모델에서 MCMC 기반 훈련의 샘플링 비효율성을 피하는 스케일러블한 딥 생성 모델을 개발하는 것.
• 변동형 autoencoder(VAE)의 한계를 보완하기 위해 적대적 훈련을 사용하여 집합된 사후분포를 사전분포와 더 잘 일치시키는 것.
• MCMC 샘플링이 필요한 딥 생성 모델에서 백프로파게이션을 통한 엔드 투 엔드 훈련을 가능하게 하는 것.
• AAE가 준감독 학습, 분리 가능한 표현 학습, 클러스터링 및 시각화에서의 유용성을 입증하는 것.
• 적대적 정규화가 autoencoder 임베딩에서 다양체의 균열을 방지하여 더 매끄럽고 의미 있는 잠재 공간을 만들어내는지 확인하는 것.

제안 방법

• AAE는 입력과 재구성된 데이터 간의 차이를 최소화하기 위해 복구 손실을 사용하는 표준 autoencoder를 사용한다.
• 추가로, 인코더에서 유도된 잠재 코드와 강제로 설정된 사전분포에서 온 샘플을 구분하는 판별기 네트워크를 훈련시킨다.
• 인코더는 판별기가 사전분포에서 온 실제 샘플로 간주하도록 코드를 생성하도록 적대적으로 훈련되어, 집합된 사후분포가 사전분포와 효과적으로 일치하게 된다.
• 재구성 손실과 적대적 손실을 번갈아 최적화하며, 확률적 경사 하강법을 사용하여 공동 훈련을 수행한다.
• 준감독 및 클러스터링 작업을 위해, 모델은 클러스터 헤드 표현과 스타일 표현을 포함하며, 임계값 이하로 가까운 클러스터 헤드에 대해 정규화 손실을 적용한다.
• 고차원 시각화에서는 학습된 10차원 표현을 2차원으로 매핑하기 위해 선형 변환을 사용하며, 이 과정에서 스타일 성분의 가우시안 스타일 분포를 유지한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 사용하여 autoencoder의 집합된 사후분포를 임의의 사전분포와 일치시킬 수 있는가?
• RQ2 기존 모델과 비교해 볼 때 AAE는 준감독 분류에서 경쟁적인 성능을 달성하는가?
• RQ3 AAE는 이미지 데이터에서 콘텐츠와 스타일의 분리 가능한 표현을 학습할 수 있는가?
• RQ4 적대적 정규화는 autoencoder 임베딩에서 다양체의 균열을 방지하여 더 매끄럽고 의미 있는 잠재 공간을 만들어내는가?
• RQ5 AAE는 의미 있는 클러스터 간 분리가 이루어지는 비지도 클러스터링과 차원 축소에 효과적으로 사용될 수 있는가?

주요 결과

• AAE는 MNIST와 Toronto Face 데이터셋에서 경쟁적인 테스트 가능도를 달성하여 강력한 생성 모델링 성능을 입증했다.
• 100개의 레이블이 있는 MNIST에서 AAE는 준감독 분류 오차율 3.90%를 기록했으며, 스타일과 레이블 표현을 연결한 기준 AAE보다 뛰어난 성능을 보였다.
• 100개의 레이블이 있는 MNIST에서 2D 기준으로 AAE는 준감독 분류 오차율 4.20%를 기록했으며, 2D에서 레이블이 100개 뿐일 경우 6.08%의 오차율을 기록하여 레이블 부족 상황에서도 강건함을 입증했다.
• 20개의 클러스터를 사용한 MNIST에서의 비지도 클러스터링에서 AAE는 숫자 1을 수직과 기울인 버전으로 분리했으며, 숫자 6은 기울임 정도에 따라 세 개의 클러스터로 나뉘었고, 숫자 2는 고리가 있는 버전과 없는 버전으로 분리되었다.
• AAE는 약간의 가우시안 분포를 보이는 10차원 스타일 표현을 학습했으며, 이는 시각화와 분포 분석을 통해 확인되었다.
• 유사한 이미지가 유사한 잠재 코드를 가지도록 유도함으로써 모델는 다양체의 균열을 방지하여 잠재 공간에서 더 매끄럽고 일관된 표현을 만들어냈다.