[논문 리뷰] Resampled Priors for Variational Autoencoders

Matthias Bauer, Andriy Mnih|arXiv (Cornell University)|2018. 10. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 11

한 줄 요약

이 논문은 기반 사전에서 재표본 추출을 위한 수용 함수를 학습하여 더 풍부하고 표현력 있는 사전 분포를 생성함으로써 변분 오토인코더(VAE) 성능을 향상시키는 학습된 수용/기각 표본 추출(Lars)을 소개한다. 이 방법은 효율적인 훈련과 표본 추출을 가능하게 하며, 표준 데이터셋에서 더 높은 ELBO와 향상된 생성 품질을 달성한다. 특히 플로우 기반 제안 분포와 조합할 경우 성능 향상이 두드러진다.

ABSTRACT

We propose Learned Accept/Reject Sampling (LARS), a method for constructing richer priors using rejection sampling with a learned acceptance function. This work is motivated by recent analyses of the VAE objective, which pointed out that commonly used simple priors can lead to underfitting. As the distribution induced by LARS involves an intractable normalizing constant, we show how to estimate it and its gradients efficiently. We demonstrate that LARS priors improve VAE performance on several standard datasets both when they are learned jointly with the rest of the model and when they are fitted to a pretrained model. Finally, we show that LARS can be combined with existing methods for defining flexible priors for an additional boost in performance.

연구 동기 및 목표

• 표준 사전을 사용할 경우 사전과 집합 사후분포 사이의 불일치로 인한 과소적합 문제를 해결하기 위해.
• 표현력 있고 해석 가능한 사전을 구성하는 방법을 개발하여, 표본 추출 효율성을 희생시키지 않고 VAE 성능을 향상시키기 위해.
• 표적 분포에서의 표본만을 사용하여 기각 표본 추출을 위한 수용 함수를 종단간(end-to-end)으로 학습할 수 있도록 하기 위해.
• 기존 방법(예: 정규화 플로우)과 조합할 수 있는 유연하고 모듈러한 접근 방식을 제공하기 위해.
• 사전 훈련된 VAE에서의 공동 훈련과 사후 적응(posterior adaptation)을 지원하기 위해.

제안 방법

• Lars는 일반적으로 신경망인 학습된 수용 함수를 사용하여 기반 사전(예: 표준 정규분포)에 대해 기각 표본 추출을 수행함으로써 더 풍부하고 표현력 있는 사전 분포로 변환한다.
• 수용 함수는 ELBO 목적함수를 통해 종단간으로 훈련되며, 이로써 모델은 집합 사후분포와 더 잘 맞는 밀도를 학습할 수 있다.
• 자르기(truncated) 버전의 Lars는 고정된 수의 기각 이후 반드시 수용하도록 하여 최소 수용률을 확보함으로써 표본 추출 효율성을 향상시킨다.
• 결과로 얻어진 재표본 사전의 정규화 상수는 몬테카를로 표본 추출을 통해 추정되며, 이는 신뢰할 수 있는 모델 비교를 가능하게 한다.
• 이 방법은 연속 및 이산 잠재 공간 모두에 일반적으로 적용 가능하며, 플로우와 같은 다른 표현력 있는 사전 모델과도 조합 가능하다.
• 수용 함수는 밀도 평가가 필요 없이 집합 사후분포와 제안 분포 간의 밀도 비율을 효과적으로 학습한다.

실험 결과

연구 질문

• RQ1 기각 표본 추출에서 학습된 수용 함수가 VAE 성능을 향상시키는 더 표현력 있는 사전을 생성할 수 있는가?
• RQ2 재표본 사전의 정규화 상수는 훈련 중에 효율적으로 추정하고 미분 가능하게 할 수 있는가?
• RQ3 Lars는 공동 훈련과 사전 훈련된 VAE의 사후 적응 모두에 적용할 수 있는가?
• RQ4 Lars에서 표본 추출 효율성과 근사 정확도 사이의 상호 교환 관계는 무엇이며, 이를 어떻게 제어할 수 있는가?
• RQ5 플로우나 VampPrior와 같은 다른 표현력 있는 사전 방법과 비교해보았을 때, ELBO와 생성 품질 측면에서 Lars는 어떠한가?

주요 결과

• Lars 사전은 표준 정규 사전과 비교해 여러 표준 데이터셋(MNIST, CIFAR-10, CelebA)에서 ELBO를 크게 향상시켰다.
• 플로우 기반 제안 분포와 조합할 경우 Lars는 ELBO에서 추가적인 성능 향상을 달성하였으며, 이는 존재하는 표현력 있는 사전 방법과의 호환성과 상호보완성을 보여준다.
• Lars의 자르기 버전은 표본 추출 효율성과 근사 정확도 사이의 제어 가능한 상호 교환 관계를 제공하며, 높은 자르기 임계값에서도 성능 저하가 미미하다.
• Lars는 사전 훈련된 VAE에 대해 사후 적응으로 적용 가능하며, 학습된 수용 함수는 재구성 품질 기반으로 잠재 표본을 효과적으로 순위 매길 수 있다.
• 이산 잠재 공간으로의 일반화도 성공적으로 이루어졌으며, VAE의 이산 출력 분포에서 이를 입증함으로써 광범위한 적용 가능성을 보였다.
• 재표본 사전의 명시적 밀도는 몬테카를로 추정을 통한 정규화 상수 추정을 통해 신뢰할 수 있는 모델 비교를 가능하게 한다.