[논문 리뷰] The Thermodynamic Variational Objective

Vaden Masrani, Tuan Anh Le외 1명|arXiv (Cornell University)|2019. 06. 28.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 4

한 줄 요약

이 논문은 열역학적 변분 목표(TVO)를 소개한다. TVO는 기존의 변분 추론 방법들을 통합하고 개선한 로그 주변 가능도에 대한 더 낮은 경계를 제공한다. 진짜 사후분포와 변분 근사 사이의 열역학적 통합 경로를 활용하여, 연속형 및 이산형 잠재 변수 모두에 대해 저분산, 재구성 기반 없는 기울기 추정이 가능해지며, 이로 인해 모델과 추론 네트워크 학습에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce the thermodynamic variational objective (TVO) for learning in both continuous and discrete deep generative models. The TVO arises from a key connection between variational inference and thermodynamic integration that results in a tighter lower bound to the log marginal likelihood than the standard variational variational evidence lower bound (ELBO) while remaining as broadly applicable. We provide a computationally efficient gradient estimator for the TVO that applies to continuous, discrete, and non-reparameterizable distributions and show that the objective functions used in variational inference, variational autoencoders, wake sleep, and inference compilation are all special cases of the TVO. We use the TVO to learn both discrete and continuous deep generative models and empirically demonstrate state of the art model and inference network learning.

연구 동기 및 목표

• 이산형 및 재구성 불가능한 잠재 변수를 가진 딥 생성 모델에서 저분산 기울기 추정의 과제를 해결하기 위해.
• 광범위한 적용성을 희생시키지 않은 채 로그 주변 가능도에 대한 변분 하한을 강화하기 위해.
• 기존의 목표들인 ELBO, IWAE, VAE, Wake-Sleep을 하나의 체계적인 프레임워크 안에서 통합하고 일반화하기 위해.
• 표준 방법에서 더 강한 하한을 사용할 경우 관찰되는 추론 네트워크 성능 저하 문제를 피하면서 모델과 추론 네트워크 학습을 향상시키기 위해.
• 다양한 유형의 잠재 변수에 적용 가능한 계산적으로 효율적인, 재구성 기반 없는 기울기 추정기 제공하기 위해.

제안 방법

• TVO는 열역학적 변분 항등식에서 유도되며, 이는 진짜 사후분포와 모델 분포 사이의 기하학적 경로를 따라 변분 하한의 순간값을 적분한 것으로, 로그 주변 가능도를 표현한다.
• 경로는 $\tilde{\pi}_{\beta}(\mathbf{z}) = p_{\theta}(\mathbf{x},\mathbf{z})^{\beta} q_{\phi}(\mathbf{z}|\mathbf{x})^{1-\beta}$ 로 정의되며, $\beta \in [0,1]$ 으로 매개변수화된다.
• TVO는 이 적분의 리만 합 근사로 구성되며, $K$개의 균일하게 분포된 점을 사용하여 표준 ELBO보다 더 낮은 하한을 제공한다.
• 재구성 기법을 피하고 REINFORCE보다 낮은 분산을 가지는 새로운 기울기 추정기가 유도되었으며, 이는 비재구성 가능한 분포에 대한 효과적인 학습을 가능하게 한다.
• 이 방법은 기존의 목표들을 일반화한다: $K=1$일 때 ELBO에 해당하며, $K>1$일 때는 중요도 가중치 자동에코더(IWAE)가 특수한 경우로 나타난다.
• 이 접근법은 연속형 및 이산형 잠재 변수 모델에 모두 적용되었으며, MNIST 및 기타 벤치마크에서 실증 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 연속형 및 이산형 잠재 변수 모두에 적용 가능한 동시에 변분 하한을 강화하는 통합된 목표를 유도할 수 있는가?
• RQ2 딥 생성 모델에서 재구성 불가능한 분포에 대해 저분산 기울기 추정을 어떻게 달성할 수 있는가?
• RQ3 TVO와 같은 더 강한 하한을 최적화할 경우, IWAE에서 관찰되는 추론 네트워크 성능 저하 문제가 발생하는가?
• RQ4 열역학적 통합과 변분 추론의 연결을 활용하여 모델 학습과 일반화를 향상시킬 수 있는가?
• RQ5 TVO는 다양한 아키텍처에서 모델 학습과 추론 네트워크 학습 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• TVO는 표준 ELBO보다 로그 주변 가능도에 대해 더 낮은 하한을 제공하며, 통합 점 수 $K$가 증가할수록 하한이 임의로 강화된다.
• TVO에 대한 제안된 기울기 추정기는 REINFORCE 추정기보다 실증적으로 낮은 분산을 가지며, 재구성 기법이 필요 없어, 이산형 및 재구성 불가능한 모델의 학습이 가능해진다.
• TVO를 최적화하면 IWAE 목표를 최적화하는 것보다 더 나은 추론 네트워크 성능을 달성하며, 더 강한 하한을 사용할 경우 추론 네트워크 품질이 떨어지는 것으로 알려진 문제를 해결한다.
• TVO는 기존의 목표들을 포함하고 일반화한다: ELBO, VAE, Wake-Sleep, 추론 컴파일러는 모두 TVO의 특수한 경우이다.
• MNIST에서의 실증 결과에 따르면, TVO는 연속형 및 이산형 잠재 변수 모델 모두에서 모델 가능도와 추론 네트워크 품질에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 다양한 아키텍처에서 효과적이며, 정규 및 베르누이 가능도를 가진 깊은 VAE를 포함한 다양한 구조에 대해 적용되었으며, 이산형 및 연속형 환경 모두에서 강건성을 보였다.