[논문 리뷰] Nonparametric Inference for Auto-Encoding Variational Bayes

Erik Bodin, Iman Malik외 2명|arXiv (Cornell University)|2017. 12. 18.

Gaussian Processes and Bayesian Inference참고 문헌 8인용 수 9

한 줄 요약

이 논문은 비모수적 변분 오토인코더(np-VAE)를 제안하며, 고용량 $Z$-공간 표현 간의 종속성을 모델링하기 위해 공유된 저차원 잠재공간 $X$를 도입함으로써 생성 능력과 잠재공간의 해석 가능성 간의 분리를 실현한다. $X$를 통해 $Z$에 대한 구조적 제약을 가하는 가우시안 프로세스 기반 예측 사후분포를 사용함으로써, 높은 정밀도의 재구성과 의미 있는 보간을 가능하게 하면서도 해석 가능성은 유지한다. 이로써 2차원 해석 가능한 잠재공간을 가진 상태에서 최신 기술 수준의 생성 품질을 달성한다.

ABSTRACT

We would like to learn latent representations that are low-dimensional and highly interpretable. A model that has these characteristics is the Gaussian Process Latent Variable Model. The benefits and negative of the GP-LVM are complementary to the Variational Autoencoder, the former provides interpretable low-dimensional latent representations while the latter is able to handle large amounts of data and can use non-Gaussian likelihoods. Our inspiration for this paper is to marry these two approaches and reap the benefits of both. In order to do so we will introduce a novel approximate inference scheme inspired by the GP-LVM and the VAE. We show experimentally that the approximation allows the capacity of the generative bottle-neck (Z) of the VAE to be arbitrarily large without losing a highly interpretable representation, allowing reconstruction quality to be unlimited by Z at the same time as a low-dimensional space can be used to perform ancestral sampling from as well as a means to reason about the embedded data.

연구 동기 및 목표

• 기본 VAE에서 재구성 품질과 분리된, 해석 가능한 표현 간의 상충관계를 해결하기 위해.
• 평균장 변분 추론의 한계를 극복하기 위해, 이는 잠재변수 간의 독립성을 강제로 부여하여 의미 있는 데이터 정렬을 어렵게 한다.
• 큰 $Z$를 통해 고용량 생성 모델링을 가능하게 하되, 동시에 시각화와 조상 샘플링을 위한 저차원 해석 가능한 잠재공간($X$)을 유지하기 위해.
• 대체로 추론과 모멘트 매칭을 활용한 효율적인 추론 기법을 개발하여 대규모 데이터셋에 스케일링할 수 있도록 하기 위해.
• 의미 있는 보간과 고해상도 재구성의 공존을 입증하기 위해, 잠재공간에서 $Z$(용량)와 $X$(구조)의 역할을 분리하기 위해.

제안 방법

• 고용량 생성을 위한 $Z$와 $Z$-변수 간의 종속성을 모델링하기 위한 $X$를 사용하는 계층적 잠재변수 모델을 도입한다.
• 잠재변수 간 종속성의 비모수적 모델링을 가능하게 하기 위해 $X$에 대한 가우시안 프로세스 사전분포를 사용하여 조건부 분포 $p(z_i | X, z_{\neg i})$를 정의한다.
• 관측된 데이터를 통해 결정론적 추론 네트워크(에ncoder)를 통해 인코딩되는 조건부로 분해된 변분 근사 $q(Z|Y)$를 사용한다.
• 변분 사후분포 $q_g(Z|Y)$와 GP 기반 예측 사후분포 $p_s(Z|X)$ 사이의 KL 발산을 포함한 수정된 증거 하한(lower bound, ELBO)를 유도하여, 구조적 표현을 촉진한다.
• 완전한 사후분포 추론이 필요 없도록, $q_g(Z|Y)$와 예측 사후분포 $p_s(Z|X)$ 간의 모멘트 매칭을 적용하여 계산이 가능하도록 최적화를 가능하게 한다.
• 암시적 추론을 사용한다: $X$와 $Z$는 각각 별도의 신경망(에ncoder)을 통해 데이터로부터 예측되며, $X$는 $Z$의 공유된 저차원 버티브로 기능한다.

실험 결과

연구 질문

• RQ1 VAE에서 고용량 생성 모델링과 저차원 해석 가능한 잠재공간이 필요 없도록 분리할 수 있는가?
• RQ2 잠재변수 $Z$ 간의 종속성을 모델링하는 공유된 잠재공간 $X$를 도입함으로써 재구성 품질과 의미 있는 보간이 향상되는가?
• RQ3 큰 $Z$-공간을 유지하면서도 저차원 $X$-공간에서의 시각화와 조상 샘플링이 가능한가?
• RQ4 제안된 비모수적 추론 기법은 표준 VAE에 비해 분리도와 샘플 품질 측면에서 어떻게 비교되는가?
• RQ5 특히 $Z$가 고차원이고 일반적으로 시각화가 어려운 경우, 모델 성능이 다양한 $Z$-차원성에 대해 안정적인가?

주요 결과

• 비모수적 VAE는 500차원의 $Z$ 공간을 사용하면서도 2차원의 $X$ 공간을 유지함으로써 직관적인 시각화와 조상 샘플링을 가능하게 하며, 높은 정밀도의 재구성을 달성한다.
• MNIST 숫자 간의 보간에서 표준 VAE의 $Z$ 공간 보간에 비해 $X$ 공간의 보간이 더 의미 있고 신뢰할 수 있는 중간 상태를 생성한다.
• $X$ 공간은 $Z$-차원성(2에서 1000까지)이 변화하더라도 해석 가능하고 안정적이며, 강건성과 일반화 능력을 입증한다.
• 큰 $Z$ 공간을 유지함에도 불구하고 재구성 품질이 유지되며, 표준 VAE가 높은 용량으로 인해 잠재공간을 무시하는 경향을 피한다.
• 이 방법은 $Z$(생성 능력)와 $X$(구조적 해석 가능성)의 역할을 성공적으로 분리하여 고품질의 생성과 의미 있는 잠재공간 분석을 동시에 실현한다.