[논문 리뷰] DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors

Arash Vahdat, Evgeny Andriyash외 1명|arXiv (Cornell University)|2018. 05. 01.

Generative Adversarial Networks and Image Synthesis인용 수 21

한 줄 요약

이 논문은 일반화된 겹침 변환과 가우시안 적분 기법을 사용하여 이산 변분 오토에인코더를 위한 느슨한 볼츠만 사전을 제안하며, 더 날카운 importance-weighted 경계를 사용한 훈련을 가능하게 한다. MNIST 및 OMNIGLOT에서의 실험 결과, 이전의 이산 VAE보다 더 나은 생성 품질을 확보하였다.

ABSTRACT

Boltzmann machines are powerful distributions that have been shown to be an effective prior over binary latent variables in variational autoencoders (VAEs). However, previous methods for training discrete VAEs have used the evidence lower bound and not the tighter importance-weighted bound. We propose two approaches for relaxing Boltzmann machines to continuous distributions that permit training with importance-weighted bounds. These relaxations are based on generalized overlapping transformations and the Gaussian integral trick. Experiments on the MNIST and OMNIGLOT datasets show that these relaxations outperform previous discrete VAEs with Boltzmann priors. An implementation which reproduces these results is available.

연구 동기 및 목표

• 이전의 이산 VAE가 증거 하한 경계(ELBO)만을 사용하는 데서 비롯되는 한계를 해결하기 위해 더 날카운 importance-weighted 경계를 사용하는 것.
• 표현력은 유지하면서 기저가 되는 볼츠만 기계의 연속적 릴랙세이션을 개발하여 미분 가능한 훈련을 가능하게 하기 위해.
• 이산 잠재 분포를 연속적이고 미분 가능한 근사로 변환함으로써 이산 VAE를 importance-weighted 경계로 훈련시킬 수 있도록 하기 위해.
• 표현력 있는 사전과 더 날카운 변분 경계를 조합하여 이산 VAE의 샘플 품질과 가능도 추정치를 향상시키기 위해.

제안 방법

• 이산 볼츠만 분포를 연속적이고 미분 가능한 형태로 변환하기 위해 일반화된 겹침 변환을 제안한다.
• 가우시안 적분 기법을 적용하여 원래 볼츠만 분포의 통계적 성질을 유지하면서 연속적 릴랙세이션을 도출한다.
• 유연한 분포를 VAE 프레임워크의 사전으로 사용하여 이산 잠재 변수를 통한 역전파를 가능하게 한다.
• 이점 중시 자동에인코더(IWAE)를 사용하여 유연한 사전과 함께 변분 하한을 더욱 날카럽게 하고 모델의 능력을 향상시킨다.
• 유연한 사전과 디코더 하에서 데이터의 가능도를 조합한 미분 가능한 목적 함수를 유도한다.
• MNIST 및 OMNIGLOT에서 보고된 결과를 재현할 수 있는 구현을 제공한다.

실험 결과

연구 질문

• RQ1 연속적 릴랙세이션을 통해 볼츠만 사전을 사용한 이산 VAE를 importance-weighted 경계로 훈련시킬 수 있는가?
• RQ2 표준 ELBO 기반 훈련과 비교했을 때, 제안된 릴랙세이션은 가능도와 샘플 품질 측면에서 어떻게 성능을 내는가?
• RQ3 일반화된 겹침 변환과 가우시안 적분 기법은 볼츠만 사전의 표현력을 유지하면서도 미분 가능한 최적화를 가능하게 하는가?
• RQ4 더 날카운 경계를 사용할 경우, 구조적 사전을 가진 이산 VAE의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 MNIST 및 OMNIGLOT과 같은 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 릴랙세이션을 통해 importance-weighted 경계를 사용한 이산 VAE 훈련이 가능해졌으며, 더 날카운 변분 목표 함수와 향상된 모델 용량을 달성하였다.
• MNIST 및 OMNIGLOT에서의 실험 결과, 표준 ELBO 훈련을 사용한 이전의 이산 VAE보다 성능이 뛰어나다는 것이 입증되었다.
• 일반화된 겹침 변환과 가우시안 적분 기법을 사용함으로써 볼츠만 사전의 표현력이 유지되면서도 연속적이고 미분 가능한 형태로 변환되었다.
• 이전의 접근 방식에 비해 더 높은 가능도와 더 나은 샘플 품질을 달성하였으며, 이는 사전의 구조적 특성을 효과적으로 활용한 결과로 볼 수 있다.
• 오픈소스 구현이 제공되어 보고된 결과가 벤치마크 데이터셋에서 재현 가능함을 확인하였다.