[논문 리뷰] Hamiltonian Variational Auto-Encoder

Anthony L. Caterini, Randal Douc외 1명|arXiv (Cornell University)|2018. 05. 29.

Model Reduction and Neural Networks참고 문헌 19인용 수 5

한 줄 요약

이 논문은 시간 비균일 힘의 역학을 사용하여 목표 분포를 고려한 정규화 흐름을 구성하는 힘의 변분 autoencoder(HVAE)를 제안한다. 해밀턴 중요도 샘플링과 재정의 기법을 활용하여 ELBO와 그 기울기의 저분산, 불편 추정기를 달성함으로써, MNIST와 같은 벤치마크 데이터셋에서 표준 VAE와 정규화 흐름보다 후행 분포 근사와 로그우도 성능을 크게 향상시킨다.

ABSTRACT

Variational Auto-Encoders (VAEs) have become very popular techniques to perform inference and learning in latent variable models as they allow us to leverage the rich representational power of neural networks to obtain flexible approximations of the posterior of latent variables as well as tight evidence lower bounds (ELBOs). Combined with stochastic variational inference, this provides a methodology scaling to large datasets. However, for this methodology to be practically efficient, it is necessary to obtain low-variance unbiased estimators of the ELBO and its gradients with respect to the parameters of interest. While the use of Markov chain Monte Carlo (MCMC) techniques such as Hamiltonian Monte Carlo (HMC) has been previously suggested to achieve this [23, 26], the proposed methods require specifying reverse kernels which have a large impact on performance. Additionally, the resulting unbiased estimator of the ELBO for most MCMC kernels is typically not amenable to the reparameterization trick. We show here how to optimally select reverse kernels in this setting and, by building upon Hamiltonian Importance Sampling (HIS) [17], we obtain a scheme that provides low-variance unbiased estimators of the ELBO and its gradients using the reparameterization trick. This allows us to develop a Hamiltonian Variational Auto-Encoder (HVAE). This method can be reinterpreted as a target-informed normalizing flow [20] which, within our context, only requires a few evaluations of the gradient of the sampled likelihood and trivial Jacobian calculations at each iteration.

연구 동기 및 목표

• 평균장 가정에 기반한 표준 VAE의 복잡한 후행 분포 근사 능력의 한계를 해결하기 위해.
• 학습된 역방향 커널에 의존하지 않고 MCMC 기법을 사용하여 ELBO와 그 기울기의 확장 가능하고 저분산 추정기를 개발하기 위해.
• 해밀턴 몬테카를로와 정규화 흐름의 장점을 융합하기 위해, 가능도에서 유도된 기울기 정보를 활용하는 목표에 기반한 비균일 흐름을 구성하기 위해.
• MCMC 기반 변분 추론 프레임워크에서 재정의 기법을 적용하여 효율적이고 편향 없는 기울기 추정을 보장하기 위해.
• 과도하게 파rametrized된 정규화 흐름을 목표 후행 분포에 기반한 역학으로 대체하여 일반화 성능 향상과 모델 복잡도 감소를 이루기 위해.

제안 방법

• 해밀턴 역학의 시간 비균일성을 활용하여 기본 샘플을 시퀀스 변환을 통해 이동시켜 목표 후행 분포에 직접적으로 의존하는 흐름을 형성한다.
• 최적의 역방향 커널을 가진 전진 마코프 체인을 사용하여 해밀턴 중요도 샘플링(HIS)을 적용하여 ELBO와 그 기울기의 편향 없는 추정기를 구성한다.
• 역방향 커널은 시간 반전 해밀턴 역학에서 유도되며, 학습된 전이 모델이 필요 없이 중요도 샘플링 추정기의 분산을 최소화한다.
• 기울기의 로그우도가 흐름 전역에서 미분 가능하도록 하여 재정의 기법의 적용을 가능하게 하여 효율적인 확률적 최적화를 보장한다.
• 각 데이터 포인트당 기울기의 로그우도를 몇 번의 평가만으로도 수행하고, 간단한 자코비안 계산만으로도 고차원 데이터에 대해 확장 가능하다.
• 결과적으로 HVAE는 변환 역학이 목표 분포에 의해 영향을 받는 정규화 흐름으로 해석되며, 이는 후행 표현력 향상에 기여한다.

실험 결과

연구 질문

• RQ1 학습된 역방향 커널에 의존하지 않고, VAE 프레임워크 내에서 해밀턴 역학을 사용하여 ELBO와 그 기울기의 저분산, 편향 없는 추정기를 구성할 수 있는가?
• RQ2 목표에 기반한 역학을 통합할 경우, 표준 VAE와 정규화 흐름에 비해 후행 분포 근사와 로그우도 추정 성능은 어떻게 향상되는가?
• RQ3 MCMC 기반 변분 추론 체계에서 재정의 기법을 적용할 수 있는 정도는 어느 정도이며, 이는 효율적인 기울기 기반 최적화를 가능하게 하는가?
• RQ4 비균일한 역학(예: 변화하는 루프 단계 크기 또는 온도 조절 기법)은 모델 성능에 어떤 영향을 미치는가?
• RQ5 목표에 기반한 흐름은 표준 정규화 흐름보다 더 적은 파rametrization으로도 더 높은 성능을 달성할 수 있는가?

주요 결과

• HVAE는 자유 온도 조절과 층 간 다른 루프 단계 크기를 사용하여 MNIST에서 테스트 NLL 82.62를 달성하였으며, 기본 VAE(83.20)와 표준 정규화 흐름을 능가한다.
• 자유 온도 조절 하에서 루프 단계 수 K=15로 증가시킬 경우 최고의 성능를 기록하여 더 긴 역학이 후행 분포 근사에 기여함을 시사한다.
• 층 간 루프 단계 크기 ε를 다양하게 조정함으로써 성능 향상이 이루어지며, 이는 비균일한 역학이 모델 표현력 향상에 기여함을 시사한다.
• 목표 후행 분포에 기반한 역학을 사용함으로써 과도하게 파arametrized된 흐름의 필요성을 줄여 더 효율적이고 일반화 능력이 뛰어난 모델을 도출한다.
• 시간 반전 해밀턴 역학에서 유도된 최적의 역방향 커널을 사용함으로써, 이전의 MCMC 기반 접근법에 비해 ELBO 추정기의 분산을 크게 감소시켰다.
• HVAE 프레임워크는 MCMC 기반 샘플링을 사용하더라도 재정의 기법을 통해 편향 없는 기울기 추정이 가능하여 효율적인 확률적 최적화를 가능하게 한다.