[논문 리뷰] Perturbative Black Box Variational Inference

Robert Bamler, Cheng Zhang외 2명|arXiv (Cornell University)|2017. 09. 21.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 7

한 줄 요약

이 논문은 편미분 기반 블랙박스 변분 추론(PBBVI)을 제안한다. 이는 홀수 정수 차수 $K$에 따라 인덱싱되는 새로운 변분 경계의 가족으로, 표준 블랙박스 변분 추론보다 기울기 분산을 줄이고 주변 가능도에 대한 경계를 강화함으로써 향상된 성능을 제공한다. $K=3$일 때, PBBVI는 KLVI와 alpha-VI보다 더 나은 사후 확률 커버리지와 더 높은 테스트 가능도를 달성하며, 기울기 분산이 낮고 수렴 속도가 빠르다.

ABSTRACT

Black box variational inference (BBVI) with reparameterization gradients triggered the exploration of divergence measures other than the Kullback-Leibler (KL) divergence, such as alpha divergences. In this paper, we view BBVI with generalized divergences as a form of estimating the marginal likelihood via biased importance sampling. The choice of divergence determines a bias-variance trade-off between the tightness of a bound on the marginal likelihood (low bias) and the variance of its gradient estimators. Drawing on variational perturbation theory of statistical physics, we use these insights to construct a family of new variational bounds. Enumerated by an odd integer order $K$, this family captures the standard KL bound for $K=1$, and converges to the exact marginal likelihood as $K o\infty$. Compared to alpha-divergences, our reparameterization gradients have a lower variance. We show in experiments on Gaussian Processes and Variational Autoencoders that the new bounds are more mass covering, and that the resulting posterior covariances are closer to the true posterior and lead to higher likelihoods on held-out data.

연구 동기 및 목표

• 재프로그래밍된 블랙박스 변분 추론에서 일반화된 발산, 특히 알파-발산에 대해 기울기 추정기의 높은 분산 문제를 해결하기 위해.
• 통계역학의 편미분 이론을 활용해 편향과 분산을 균형 잡는 새로운 변분 경계의 가족을 개발하기 위해.
• 기울기 분산이 낮은 재프로그래밍 기반 기울기 유지와 함께, $K \to \infty$일 때 진짜 주변 가능도에 수렴하도록 하는 방법을 구축하기 위해.
• 기존 방법들인 KLVI와 alpha-VI와 비교해 새로운 경계가 더 나은 사후 근사와 더 높은 예측 가능도를 제공하는지 경험적으로 검증하기 위해.

제안 방법

• 통계역학의 편미분 이론에서 유도된 홀수 정수 $K$에 따라 인덱싱되는 새로운 변분 하한 $\mathcal{L}^{(K)}(\lambda, V_0)$를 제안한다.
• 이 경계는 $\log p(\mathbf{x}, \mathbf{z}) - \log q(\mathbf{z}; \lambda) + V_0$의 로그 밀도 차이에 대한 다항식 전개를 변분 분포에 대해 기대값으로 표현하며, 차수 $K$까지 포함된다.
• 스토케스틱 기울기 하강법을 통한 효율적이고 낮은 분산 최적화를 위해 재프로그래밍 기반 기울기를 사용한다.
• 유연성과 근사 품질 향상을 위해 데이터의 함수로 모델링된 학습 가능한 기준 에너지 $V_0$를 도입한다.
• 대규모 데이터셋에 스케일링하기 위해, 가우스 프로세스와 변분 오토에인코더에 이 방법을 적용하고, 암시적 추론 네트워크를 사용한다.
• 안정적인 수렴을 확보하기 위해 각 에포크마다 데이터를 셔플링하고, 크기가 20인 미니배치를 사용하는 학습 전략을 채택한다.

실험 결과

연구 질문

• RQ1 편미분 이론을 활용해 기울기 분산을 줄이고 주변 가능도에 대한 경계를 강화하는 새로운 변분 경계의 가족을 유도할 수 있는가?
• RQ2 PBBVI의 성능은 사후 커버리지와 예측 가능도 측면에서 KLVI와 alpha-VI와 비교해 어떻게 되는가?
• RQ3 편미분 차수 $K$를 증가시킬수록 근사 품질과 수렴 속도에 체계적인 향상이 이루어지는가?
• RQ4 미니배치 학습과 암시적 추론을 통해 PBBVI 경계는 대규모 데이터셋에 효과적으로 스케일링될 수 있는가?

주요 결과

• $K=3$일 때, PBBVI는 특히 작은 학습 세트에서 KLVI와 alpha-VI보다 진짜 사후 질량의 더 많은 부분을 커버하는 변분 분포를 생성한다.
• 모든 학습 세트 크기에서 PBBVI는 KLVI보다 보류된 테스트 데이터에 대해 더 높은 예측 로그가능도를 달성하며, 특히 작은 서브셋에서 가장 큰 성과 향상을 보였다.
• PBBVI의 기울기 추정기는 alpha-VI보다 분산이 현저히 낮아 학습 중 더 빠른 수렴을 이끌어낸다.
• 학습 세트 크기가 증가함에 따라 PBBVI의 성능은 KLVI에 수렴하며, 이는 이론적으로 $\mathbb{E}_{q^*}[(V_0^* - V)^3] = 0$이면 대규모 데이터 근사에서 KLVI로 수렴한다는 기대와 일치한다.
• PBBVI 경계는 $K \to \infty$일 때 진짜 주변 가능도로 수렴함으로써 진짜 사후 분포와 이론적으로 일致함을 보였다.
• 높은 $K$에서 로그 주변 가능도의 근사가 더 타당해져, 변분 EM에서의 하이퍼파rameter 최적화가 더 신뢰성 있게 가능해졌다.