[논문 리뷰] Learning Hierarchical Features from Generative Models

Shengjia Zhao, Jiaming Song외 1명|arXiv (Cornell University)|2017. 02. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 36

한 줄 요약

이 논문은 변동형 래더 autoencoder(VLAE)를 제안하며, 다양한 추상 수준의 특징을 인코딩하도록 잠재 공간을 구조화함으로써 비지도 생성 모델에서 높은 수준의 분리된, 계층적인 특징을 학습하는 새로운 아키텍처이다. 스택형 계층적 변동형 autoencoder와 달리, 깊은 층을 효과적으로 활용하지 못하지만, VLAE는 평탄하면서도 계층적인 아키텍처를 사용하여 하위 층에 저수준 특징을, 상위 층에 고수준의 추상적 특징을 명시적으로 할당함으로써, 작업에 특화된 정규화 없이도 MNIST, SVHN, CelebA에서 최고 수준의 분리도를 달성한다.

ABSTRACT

Deep neural networks have been shown to be very successful at learning feature hierarchies in supervised learning tasks. Generative models, on the other hand, have benefited less from hierarchical models with multiple layers of latent variables. In this paper, we prove that hierarchical latent variable models do not take advantage of the hierarchical structure when trained with existing variational methods, and provide some limitations on the kind of features existing models can learn. Finally we propose an alternative architecture that do not suffer from these limitations. Our model is able to learn highly interpretable and disentangled hierarchical features on several natural image datasets with no task specific regularization or prior knowledge.

연구 동기 및 목표

• 스택형 계층적 변동형 autoencoder(HVAE)가 아키텍처의 깊이에도 불구하고 의미 있는 분리된 특징 계층을 학습하지 못하는 이유를 탐구하는 것.
• 특히 특징 계층 활용 측면에서, 표준 변동형 추론을 통해 훈련되는 스택형 계층 모델의 근본적인 한계를 규명하는 것.
• 스택을 통한 방법이 아니라 구조 설계를 통해 효과적인 계층적, 분리된 표현 학습을 가능하게 하는 대안 아키텍처를 제안하는 것.
• 작업에 특화된 정규화 없이도, 아키텍처 설계만으로도 비지도 이미지 생성에서 매우 해석 가능한 분리된 특징을 얻을 수 있음을 입증하는 것.

제안 방법

• 각 잠재 코드 층이 점점 더 추상적인 특징을 캡처하도록 설계된 단일 깊이의 다중 수준 잠재 변수 모델인 변동형 래더 autoencoder(VLAE)를 제안한다.
• 잠재 공간을 구성하여 하위 층은 저수준 특징(예: 색상, 질감)을, 상위 층은 고수준의 추상적 특징(예: 객체 정체성, 자세, 맥락)을 인코딩하도록 한다.
• 재구성 기반 목적 함수를 사용하여 모든 잠재 코드 층이 의미 있게 기여하도록 유도함으로써, 깊은 층이 생성에 기여하도록 보장한다.
• 고수준의 잠재 변수를 저수준 특징에 조건화하는 계층적 추론 네트워크를 활용하여, 체계적이고 계층적인 표현 학습을 가능하게 한다.
• 재귀적 방식으로 VAE를 스택하는 것과는 달리, 동시에 여러 잠재 층을 가진 평탄한 아키텍처를 적용하여 특징 계층의 열화를 방지한다.
• 추가 정규화나 사전 지식 없이도, 증거 하한 경계(ELBO)를 사용해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 스택형 계층적 변동형 autoencoder는 깊이가 있음에도 불구하고 왜 의미 있는 특징 계층을 학습하지 못하는가?
• RQ2 재귀적 방식으로 여러 VAE를 스택하지 않고도 계층적 특징 계층을 학습할 수 있는가?
• RQ3 명시적 정규화 없이도 아키텍처 설계만으로도 비지도 생성 모델에서 분리되고 해석 가능한 특징 학습이 가능한가?
• RQ4 평탄하고 다중 층으로 구성된 잠재 구조는 전통적인 스택형 HVAE에 비해 얼마나 뛰어난 분리된 표현 학습 성능을 보일 수 있는가?

주요 결과

• 스택형 계층적 VAE는 상위 층을 의미 있게 활용하지 못한다: 최적의 훈련 조건에서도 하위 층만으로도 데이터 분포를 재구성하는 데 충분하다.
• 스택형 HVAE에서 흔히 사용되는 아키텍처 구성 요소는 정보 흐름과 특징 계층 활용이 열악하여 분리도 향상에 효과적이지 않다.
• 제안된 VLAE는 작업에 특화된 정규화나 사전 지식 없이도 MNIST, SVHN, CelebA에서 매우 높은 수준의 분리된 특징을 학습한다.
• SVHN에서는 색상, 숫자 모양, 맥락, 전반적인 구조를 포괄하는 4층의 계층을 학습하며, 각 층이 별개로 해석 가능한 이미지 속성을 제어한다.
• CelebA에서는 하위 층이 환경 색상과 조명을 제어하고, 상위 층은 정체성, 자세, 털 색상, 표정을 제어함으로써 명확한 추상화 진행 과정을 보여준다.
• VLAE는 아키텍처 설계와 재구성 손실을 통해 분리도를 달성하며, 명시적 특징 제어와 계층적 추상화에서 InfoGAN을 능가한다.