[논문 리뷰] Gaussian Approximations for Probability Measures on $\mathbf{R}^d$

Yulong Lu, Andrew M. Stuart외 1명|arXiv (Cornell University)|2016. 11. 26.

Markov Chains and Monte Carlo Methods참고 문헌 19인용 수 4

한 줄 요약

이 논문은 ℝ^d 위의 확률측도에 대한 최적의 가우시안 및 가우시안 혼합 근사법이 Kullback-Leibler (KL) 발산 최소화를 통해 존재함을 증명한다. Γ-수렴을 이용해 베이지안 역문제에서 사후측도의 渐近 정규성을 증명하며, 소음이 작거나 데이터가 많아지는 극한에서 수렴이 가우시안(또는 혼합)으로 일어나며, 한정된 공분산과 잔차 불일치의 명시적 특성화를 제공한다.

ABSTRACT

This paper concerns the approximation of probability measures on $\mathbf{R}^d$ with respect to the Kullback-Leibler divergence. Given an admissible target measure, we show the existence of the best approximation, with respect to this divergence, from certain sets of Gaussian measures and Gaussian mixtures. The asymptotic behavior of such best approximations is then studied in the small parameter limit where the measure concentrates; this asymptotic behaviour is characterized using $Γ$-convergence. The theory developed is then applied to understanding the frequentist consistency of Bayesian inverse problems. For a fixed realization of noise, we show the asymptotic normality of the posterior measure in the small noise limit. Taking into account the randomness of the noise, we prove a Bernstein-Von Mises type result for the posterior measure.

연구 동기 및 목표

• ℝ^d 위의 일반적인 확률측도를 가우시안 또는 가우시안 혼합 가족을 이용해 KL 발산을 거리 척도로 사용하여 근사하는 엄밀한 이론적 프레임워크를 개발하기 위해.
• 유한차원 설정에서 KL-근사 문제의 최소화자 존재성을 확립하기 위해.
• 목표 측도가 집중되는 소수의 매개변수 극한(예: 소음이 작거나 데이터가 많은 극한)에서 이러한 최적 근사의 渐近 행동을 분석하기 위해.
• 특히 Bernstein-von Mises (BvM) 현상의 맥락에서, 베이지안 역문제에서의 빈도주의 일致성에 이론을 적용하기 위해.
• 기존 BvM 결과를 확장하여, 총변동 거리가 아닌 KL 발산 수렴을 증명하고, 한정된 공분산의 구조를 특성화하기 위해.

제안 방법

• 목표 측도와 가우시안 또는 가우시안 혼합 측도 가족 사이의 KL 발산을 최소화하는 변분 문제로 가우시안 근사 문제를 공식화하기 위해.
• 측도가 소수의 매개변수 극한(예: μ_ε ∝ exp(−ε⁻¹V₁(x) − V₂(x))에서 ε → 0)에서 집중하는 경우, 최소화자의 渐近 행동을 Γ-수렴을 이용해 연구하기 위해.
• 후행 측도가 μ_ε(dx) ∝ exp(−ε⁻¹V₁(x) − V₂(x))dx 형태를 가지는 베이지안 역문제에 이 프레임워크를 적용하기 위해, 여기서 V₁은 음의 로그우도와 관련된다.
• KL 함수의 하부 연속성과 강력성 분석을 통해 최적 근사 가우시안 또는 혼합 측도의 존재성을 증명하기 위해.
• KL 함수의 Γ-극한을 계산하여 최종적으로 도출되는 가우시안(또는 혼합)을 특성화하기 위해, 단일 모드 목표 측도는 극한에서 완벽하게 재구성됨을 보여주기 위해.
• 정규화 상수에 대한 정밀한 추정치(보조정리 5.6)를 사용하여 KL 발산 수렴을 제어함으로써, 전통적인 총변동 결과보다 더 강한 수렴을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 주어진 ℝ^d 위의 확률측도에 대해 KL 발산을 기준으로 최적의 가우시안 또는 가우시안 혼합 근사가 존재하는가?
• RQ2 목표 측도가 집중되는 소수의 매개변수 극한에서 최적 근사 가우시안 측도는 어떻게 행동하는가?
• RQ3 단일 모드 및 다중 모드 목표 측도에 대해 KL-근사 문제의 Γ-극한을 명시적으로 특성화할 수 있는가?
• RQ4 KL-근사 프레임워크는 유한차원 베이지안 역문제에서 고전적인 Bernstein-von Mises 정리의 복원 또는 개선을 어느 정도 달성하는가?
• RQ5 다중 모드 사후 측도의 경우, 사전이 최종 가우시안 혼합에 어떤 영향을 미치는가?

주요 결과

• 적당한 정규성 조건 하에서, 목표 확률측도에 대한 최적 근사 가우시안 또는 가우시안 혼합 가족이 KL 발산 기준으로 존재한다.
• 소음이 작거나 데이터가 많은 극한에서, 베이지안 역문제의 사후 측도는 KL 발산 수렴에 대해 가우시안으로 수렴하며, 한정된 공분산 행렬은 (DG)^T DG의 역행렬로 주어진다.
• 단일 모드 목표 측도의 경우, KL-근사 문제의 Γ-극한은 완벽한 재구성으로 이어지며 잔차 불일치가 0이 된다.
• 다중 모드 목표 측도의 경우, 최적의 가우시안 혼합 근사는 모드를 포착하며, 최종 KL 불일치는 두 상대 엔트로피의 합으로 명시적으로 특성화된다(정리 4.2).
• 사전는 극한에서 사라지지 않으며, 그 영향은 가우시안 혼합의 가중치에 암묵적으로 포함되며, 이는 고전적 BvM 결과에서 포착되지 않는 새로운 특성이다.
• 정규화 상수와 로그 밀도를 분리하는 증명 기법 덕분에, 전통적인 BvM 증명이 일반적으로 사용하는 총변동 및 연속성 논증보다 더 강한 수렴(즉, KL 수렴)을 가능하게 한다.