[논문 리뷰] Wasserstein Variational Inference

Luca Ambrogioni, Umut Güçlü외 4명|arXiv (Cornell University)|2018. 05. 29.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 9

한 줄 요약

이 논문은 최적 운반 이론을 활용하여 안정적이고 기울기 기반의 블랙박스 방법인 워샤르 스텐티에이티브 인퍼런스를 소개한다. 자동 미분를 활용한 싱크호른 반복을 통해 가능성이 있는 분포와 함께 가능성이 없는 학습을 가능하게 하며, 다양한 데이터셋에서 재구성 정확도와 샘플 품질 면에서 VAE 및 ALI를 능가한다.

ABSTRACT

This paper introduces Wasserstein variational inference, a new form of approximate Bayesian inference based on optimal transport theory. Wasserstein variational inference uses a new family of divergences that includes both f-divergences and the Wasserstein distance as special cases. The gradients of the Wasserstein variational loss are obtained by backpropagating through the Sinkhorn iterations. This technique results in a very stable likelihood-free training method that can be used with implicit distributions and probabilistic programs. Using the Wasserstein variational inference framework, we introduce several new forms of autoencoders and test their robustness and performance against existing variational autoencoding techniques.

연구 동기 및 목표

• 우리가 가능성이 없는 확률적 모델을 위한 안정적이고 기울기 기반의 근사 베이지안 인퍼런스 방법을 개발한다.
• f-발산과 워샤르 스텐티에이티브 거리의 통합을 위한 새로운 발산 가족인 c-워샤르 스텐티에이티브 발산을 제안한다.
• 싱크호른 반복를 통해 역전파를 수행함으로써 암시적 변분 분포를 갖는 확률적 모델의 엔드 투 엔드 학습을 가능하게 한다.
• 낮은 데이터 및 열악한 분포 조건에서 오토에코더의 강인성과 성능을 향상시킨다.
• 불안정성을 피하기 위해 적대적 학습의 가능성이 없는 대안을 제공한다.

제안 방법

• f-발산과 워샤르 스텐티에이티브 거리의 일반화를 위한 c-워샤르 스텐티에이티브 발산 가족을 제안한다.
• 엔트로피 정규화를 사용하여 싱크호른 알고리즘을 통해 최적 운반을 계산 가능하게 한다.
• 싱크호른 반복를 통해 역전파를 수행하여 변분 손실의 기울기를 유도함으로써 미분 가능한 학습을 가능하게 한다.
• 변분 오토에코더에 프레임워크를 적용하여 VAE/ALI 구성 요소를 갖는 새로운 아키텍처인 1111, 1100 및 하이브리드 모델을 도입한다.
• 직접 계산이 어려운 사후 분포를 피하기 위해 공동 대비 변분 인퍼런스를 적용한다.
• 암시적 변분 분포를 엔드 투 엔드로 학습하기 위해 이론을 다양한 확률적 프로그래밍에 통합한다.

실험 결과

연구 질문

• RQ1 최적 운반 발산을 사용하여 암시적 모델을 위한 안정적이고 기울기 기반의 변분 인퍼런스 프레임워크를 구축할 수 있는가?
• RQ2 제안된 c-워샤르 스텐티에이티브 발산 가족은 어떻게 f-발산과 워샤르 스텐티에이티브 거리를 하나의 최적화 프레임워크 안에서 통합하는가?
• RQ3 싱크호른 기반 기울기는 적대적 손실 성분에 의존하지 않고도 오토에코더의 신뢰할 수 있는 학습을 가능하게 하는가?
• RQ4 재구성 및 샘플 품질 측면에서 워샤르 스텐티에이티브 인퍼런스 오토에코더는 VAE 및 ALI에 비해 어떻게 성능을 내는가?
• RQ5 손실 가중치 설정에서 하이퍼파rameter의 변동에 대해 이 방법은 강인한가?

주요 결과

• 1111 모델은 MNIST에서 모든 지표에서 VAE 및 ALI를 능가했으며, 잠재공간 평균 제곱편차는 0.877 ± 0.026, 샘플 품질 평균은 0.041 ± 0.002를 기록했다.
• 1111 모델은 가중치 변동에 대해 매우 강인했으며, 모든 지표에서 표준편차가 0.03 이하였고, 네 가지 비교에서 다른 모델의 최소 오차보다도 최대 오차가 낮았다.
• 순수한 거리 기반의 1100 모델은 뿌리가 있는 분포만을 사용해도 낮은 재구성 오차(0.0268)를 기록하여 강력한 일반화 능력을 보였다.
• 하이브리드 모델 h-VAE 및 h-ALI는 높은 성능을 기록하여, 싱크호른 손실이 적대적 학습을 안정화시킬 수 있음을 시사했다.
• ALI 모델은 모든 실행에서 7과 9로 붕괴되어 높은 재구성 오차(0.168 ± 0.047)와 열악한 샘플 품질(0.057 ± 0.002)을 보였다.
• 패션-MNIST 및 퀵 스케치 데이터셋에서 1111 모델은 잠재공간 오차(0.8822)와 관측공간 오차(0.0642)를 가장 낮게 기록했으며, 샘플 품질은 0.0699였다.