[논문 리뷰] The Variational Homoencoder: Learning to learn high capacity generative models from few examples

Luke Hewitt, Maxwell Nye외 3명|arXiv (Cornell University)|2018. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 30

한 줄 요약

변분 동형에이커(Variational Homoencoder, VHE)는 여러 예시 간에 공유되는 잠재 변수를 효과적으로 활용할 수 있도록 해주는 계층적 변분 오토에이커로, PixelCNN과 같은 강력한 순차적 디코더가 소수의 예시에서 효과적으로 작동하도록 한다. 전체 가능도를 근사하기 위해 부분 샘플링된 데이터로 훈련함으로써, VHE는 Omniglot과 YouTube Faces 데이터셋에서 기존의 표준 VAE와 Neural Statistician 기반 모델들을 능가하는 최고 수준의 테스트 세트 가능도, 1-shot 분류 정확도, 조건부 생성 품질을 달성한다.

ABSTRACT

Hierarchical Bayesian methods can unify many related tasks (e.g. k-shot classification, conditional and unconditional generation) as inference within a single generative model. However, when this generative model is expressed as a powerful neural network such as a PixelCNN, we show that existing learning techniques typically fail to effectively use latent variables. To address this, we develop a modification of the Variational Autoencoder in which encoded observations are decoded to new elements from the same class. This technique, which we call a Variational Homoencoder (VHE), produces a hierarchical latent variable model which better utilises latent variables. We use the VHE framework to learn a hierarchical PixelCNN on the Omniglot dataset, which outperforms all existing models on test set likelihood and achieves strong performance on one-shot generation and classification tasks. We additionally validate the VHE on natural images from the YouTube Faces database. Finally, we develop extensions of the model that apply to richer dataset structures such as factorial and hierarchical categories.

연구 동기 및 목표

• 표준 VAE가 소수의 예시에서 PixelCNN과 같은 강력한 순차적 디코더를 사용할 때 잠재 변수를 효과적으로 활용하지 못하는 데서 기인하는 실패를 해결하기 위해.
• Neural Statistician과 같은 계층 모델에서 전체 데이터셋 훈련이 계산적으로 불가능한 문제를 해결하기 위해, 전체 가능도를 근사하기 위해 부분 샘플링된 데이터를 사용함으로써 가능도 하한을 유도하기 위해.
• 통합된 변분 목표함수를 통해 계층적이고 인과적 잠재 구조를 효과적으로 학습하기 위해.
• 일반적인 딥 아키텍처를 사용하여 조건부 생성, 무조건적 생성, 소수의 예시를 통한 분류를 하나의 계층적 베이지안 프레임워크 안에서 통합하기 위해.

제안 방법

• VHE는 집합 X의 무작위 부분 집합 D를 인코딩하고, 동일한 클래스에 属하는 하나의 예시 x를 디코딩함으로써, 여러 요소 간에 공유되는 잠재 변수를 가능하게 하는 변분 추론 목표함수를 사용한다.
• 전체 가능도를 근사하기 위해 부분 샘플링된 데이터 D와 x에 의존하는 가능도 하한을 도입함으로써, 대규모 또는 복잡한 데이터셋에서도 효율적인 훈련이 가능해지며, 계층적 구조 유지가 가능하다.
• 모델은 두 단계 추론 프로세스를 사용한다: 먼저 부분 집합 D를 인코딩하여 공유 잠재 코드 c를 추론하고, 그 다음 p(x|c) 또는 p(x|z,c)를 사용하여 새로운 샘플 x를 디코딩한다. 여기서 z는 局부 잠재 변수이다.
• 계층적 모델링을 위해 추가로 레이어 a를 도입하여 고차원 구조(예: 알파벳 수준의 특징)를 포착하며, a와 c에 대해 별도의 부분 샘플링을 수행한다.
• 인과적 모델링을 위해 별도의 스타일 잠재 변수 s를 도입하고, 디코더는 외적 곱 s⊗c에 조건을 두어 콘텐츠와 스타일을 분리한다.
• 이 프레임워크는 디컨볼루션 기반 및 순차적 디코더(PixelCNN 등)를 모두 지원하며, 변분 하한에 대한 확률적 경사 하강법을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 표준 VAE가 소수의 예시에서 PixelCNN과 같은 강력한 순차적 디코더를 사용할 때 잠재 변수를 효과적으로 활용하지 못하는 데서 기인하는 실패를 해결할 수 있는가?
• RQ2 가능도 하한을 부분 샘플링 기반으로 훈련함으로써, 전체 데이터셋 훈련에 비해 더 나은 일반화 성능과 확장성 확보가 가능한가?
• RQ3 VHE 프레임워크는 계층적 카테고리(예: 알파벳과 문자 수준)와 분리된 요소(예: 스타일과 콘텐츠)를 통합된 방식으로 효과적으로 모델링할 수 있는가?
• RQ4 VHE는 테스트 세트 가능도, 소수의 예시를 통한 분류 정확도, 조건부 이미지 생성 품질 측면에서 Neural Statistician과 표준 VAE보다 어떻게 비교되는가?
• RQ5 기존 모델들이 보여주던 상호 보완성의 딜레마를 극복하고, 고품질의 이미지 생성과 정확한 소수의 예시 분류를 동시에 달성할 수 있는가?

주요 결과

• VHE PixelCNN는 Omniglot 데이터셋에서 가장 높은 테스트 세트 가능도(4091.3 NLL)와 98.9%의 5-shot 분류 정확도를 기록했으며, Neural Statistician 및 표준 PixelCNN를 모두 능가했다.
• YouTube Faces 데이터셋에서 VHE는 PixelCNN를 사용해 Neural Statistician보다 더 현실적인 조건부 샘플을 생성했으며, 분류 정확도 면에서도 높은 성능을 보였다.
• VHE는 이미지 생성과 소수의 예시 분류 양쪽 모두에서 최고 수준의 성능을 달성했으며, 예시 간에 잠재 변수를 공유함으로써 고용량 디코더를 효과적으로 활용할 수 있음을 입증했다.
• 계층적 VHE는 문자 수준과 알파벳 수준의 구조를 성공적으로 학습했으며, 이전에 본 적 없는 알파벳에서 양쪽 수준에서 신뢰할 수 있는 샘플을 생성했다.
• 인과적 VHE는 콘텐츠와 스타일을 효과적으로 분리했으며, 문자와 스타일에 대해 별도의 잠재 코드를 조건으로 두어 정확한 스타일 전이 결과를 도출했다.
• VHE 프레임워크는 각 예시의 인코딩 비용을 줄이고 잠재 변수의 활용도를 향상시킴으로써, 소수의 예시 설정에서 강력한 순차적 모델을 효과적으로 훈련시킬 수 있도록 한다.