[논문 리뷰] Variational Autoencoder with Implicit Optimal Priors

Hiroshi Takahashi, Tomoharu Iwata외 3명|arXiv (Cornell University)|2018. 09. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 6

한 줄 요약

이 논문은 조합된 사전분포를 사전분포로 사용하여 밀도 추정을 향상시키기 위해 암시적 최적 사전분포를 사용하는 변동형 오토인코더(VAE)를 제안한다. KL 발산을 분석적으로 다룰 수 있고 저차원의 밀도 비율 항으로 재작성함으로써, 이 방법은 조합된 사전분포를 명시적으로 모델링하지 않고도 KL 발산을 추정할 수 있게 하여, VampPrior와 같은 이전 방법들보다 더 높은 정확도와 효율성으로 이미지 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

The variational autoencoder (VAE) is a powerful generative model that can estimate the probability of a data point by using latent variables. In the VAE, the posterior of the latent variable given the data point is regularized by the prior of the latent variable using Kullback Leibler (KL) divergence. Although the standard Gaussian distribution is usually used for the prior, this simple prior incurs over-regularization. As a sophisticated prior, the aggregated posterior has been introduced, which is the expectation of the posterior over the data distribution. This prior is optimal for the VAE in terms of maximizing the training objective function. However, KL divergence with the aggregated posterior cannot be calculated in a closed form, which prevents us from using this optimal prior. With the proposed method, we introduce the density ratio trick to estimate this KL divergence without modeling the aggregated posterior explicitly. Since the density ratio trick does not work well in high dimensions, we rewrite this KL divergence that contains the high-dimensional density ratio into the sum of the analytically calculable term and the low-dimensional density ratio term, to which the density ratio trick is applied. Experiments on various datasets show that the VAE with this implicit optimal prior achieves high density estimation performance.

연구 동기 및 목표

• 단순한 가우시안 사전분포를 사용함으로써 발생하는 표준 VAE의 과도한 정규화 문제를 해결하기 위해.
• KL 발산의 비계산성에도 불구하고, 조합된 사전분포를 최적의 사전분포로 사용할 수 있도록 하기 위해.
• 조합된 사전분포를 명시적으로 모델링하지 않고도, 인코더와 조합된 사전분포 사이의 KL 발산을 추정하는 방법을 개발하기 위해.
• 사전분포 모델링의 초모수 민감도를 피함으로써 고차원 데이터(예: 이미지)에서의 밀도 추정 성능을 향상시키기 위해.
• 낮은 차원의 부분공간에서 밀도 비율 기법을 활용하여 안정적이고 효율적인 훈련을 달성하기 위해.

제안 방법

• 인코더와 조합된 사전분포 사이의 KL 발산을 두 항의 합으로 재작성한다: 하나는 인코더와 표준 가우시안 사전분포 사이의 항(분석적으로 계산 가능), 다른 하나는 조합된 사전분포와 표준 가우시안 사전분포 사이의 항(저차원).
• 저차원의 밀도 비율을 추정하기 위해 밀도 비율 기법을 적용함으로써, 조합된 사전분포를 명시적으로 모델링하지 않고도 KL 발산을 암시적으로 추정할 수 있도록 한다.
• 신경망을 사용하여 저차원 부분공간에서의 밀도 비율을 추정함으로써, 전체 고차원 조합된 사전분포를 모델링할 필요 없이 처리한다.
• KL 발산 항을 밀도 비율 기법을 통해 추정함으로써, ELBO를 최적화하는 방식으로 VAE를 종합적으로 훈련시키며, 닫힌 형태의 계산 없이도 최적의 사전분포를 사용할 수 있도록 한다.
• 두 단계 훈련 전략을 도입한다: 먼저 잠재 표현에서 밀도 비율 추정기를 사전학습하고, 이후 VAE와 비율 추정기를 함께 훈련시킨다.
• 조합된 사전분포가 데이터 분포에 대한 인코더의 기대값임을 활용하여, 경험적 평균을 통한 최적의 사전분포 추정이 일관되게 가능하다.

실험 결과

연구 질문

• RQ1 조합된 사전분포를 명시적으로 모델링하지 않고도 VAE에서 사용할 수 있을까? 이는 밀도 추정을 향상시키기 위함이다.
• RQ2 닫힌 형태의 표현이 없는 상황에서, 인코더와 조합된 사전분포 사이의 KL 발산을 추정할 수 있을까?
• RQ3 KL 발산을 저차원 성분으로 분해함으로써, 고차원 잠재공간에서 밀도 비율 기법을 효과적으로 적용할 수 있을까?
• RQ4 제안된 암시적 최적 사전분포는 VampPrior와 같은 명시적 사전분포 모델에 비해 로그우도 성능과 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ5 기존의 사전분포 모델링 접근법에 비해 제안된 방법은 초모수 민감도를 줄이는가?

주요 결과

• 제안된 암시적 최적 사전분포를 갖는 VAE는 네 개의 이미지 데이터셋에서 최신 기준 테스트 로그우도 성능을 달성하여 표준 VAE와 VampPrior를 모두 능가한다.
• MNIST 데이터셋에서, 이 방법은 -89.66 nats의 테스트 로그우도를 기록하여 VampPrior의 -90.12 nats를 초월한다.
• MNIST에서 훈련 시, 이 방법은 VampPrior 대비 2.83배 더 빠르게 작동하여 훨씬 낮은 계산 비용을 보였다.
• 이 방법은 초기 조건에 대해 강건했으며, 런 간 성능 표준편차가 낮아, VampPrior가 의사입력 초기화에 매우 민감했던 것과 대비된다.
• VampPrior의 혼합 성분 수 K는 민감한 초모수로 밝혀졌으며, 다양한 값에서 성능이 크게 달라졌지만, 제안된 방법은 더 적고 더 안정적인 초모수를 필요로 했다.
• 밀도 비율 기법이 저차원 성분에 성공적으로 적용되어, 전체 차원에서의 추정이 실패할 수 있는 고차원 환경에서도 정확한 KL 발산 추정이 가능했다.