[论文解读] Gaussian Approximations for Probability Measures on $\mathbf{R}^d$

Yulong Lu, Andrew M. Stuart+1 more|arXiv (Cornell University)|Nov 26, 2016

Markov Chains and Monte Carlo Methods参考文献 19被引用 4

一句话总结

该论文通过Kullback-Leibler（KL）散度最小化，建立了在ℝ^d上概率测度的最优高斯分布及高斯混合近似存在的理论。通过Γ-收敛性证明了贝叶斯反问题后验测度的渐近正态性，展示了在小噪声/大数据极限下收敛至高斯分布（或混合分布）的结果，并对极限协方差和残差差异进行了显式刻画。

ABSTRACT

This paper concerns the approximation of probability measures on $\mathbf{R}^d$ with respect to the Kullback-Leibler divergence. Given an admissible target measure, we show the existence of the best approximation, with respect to this divergence, from certain sets of Gaussian measures and Gaussian mixtures. The asymptotic behavior of such best approximations is then studied in the small parameter limit where the measure concentrates; this asymptotic behaviour is characterized using $Γ$-convergence. The theory developed is then applied to understanding the frequentist consistency of Bayesian inverse problems. For a fixed realization of noise, we show the asymptotic normality of the posterior measure in the small noise limit. Taking into account the randomness of the noise, we prove a Bernstein-Von Mises type result for the posterior measure.

研究动机与目标

• 为在ℝ^d上通过KL散度作为度量，对一般概率测度使用高斯分布或高斯混合族进行逼近，建立严格的理论框架。
• 在有限维设定下，证明KL近似问题最小化器的存在性。
• 分析这些最优近似在目标测度集中（如小噪声或大数据极限）的小参数极限下的渐近行为。
• 将该理论应用于贝叶斯反问题的频率一致性，特别是Bernstein-von Mises（BvM）现象的语境下。
• 通过证明KL散度收敛而非经典总变差收敛，扩展经典BvM结果，并刻画极限协方差结构。

提出的方法

• 将高斯近似问题表述为变分法中KL散度的最小化问题，即在目标测度与高斯或高斯混合测度族之间最小化KL散度。
• 利用Γ-收敛性研究测度在小参数极限下（如μ_ε ∝ exp(−ε⁻¹V₁(x) − V₂(x))中ε → 0）最小化器的渐近行为。
• 将该框架应用于贝叶斯反问题，其中后验测度形式为μ_ε(dx) ∝ exp(−ε⁻¹V₁(x) − V₂(x))dx，且V₁与负对数似然相关。
• 通过分析KL泛函的下极限连续性和强制性，证明最优高斯或混合测度近似的存在性。
• 通过计算KL泛函的Γ-极限，刻画极限高斯（或混合）分布，表明单峰目标在极限下可被完美重构。
• 利用对归一化常数的精确估计（引理5.6）控制KL散度收敛性，从而实现强于经典总变差结果的收敛性。

实验结果

研究问题

• RQ1 对于ℝ^d上任意给定的概率测度，其相对于KL散度的最优高斯或高斯混合近似是否存在？
• RQ2 在目标测度集中的小参数极限下，最优高斯近似测度的行为如何？
• RQ3 对于单峰和多峰目标测度，KL近似问题的Γ-极限是否可以显式刻画？
• RQ4 KL近似框架在有限维贝叶斯反问题中，对经典Bernstein-von Mises定理的恢复或改进程度如何？
• RQ5 在后验分布为多峰的情况下，先验如何影响极限下的高斯混合分布？

主要发现

• 在温和正则性条件下，目标概率测度相对于KL散度的最优高斯或高斯混合族近似存在。
• 在小噪声或大数据极限下，贝叶斯反问题中的后验测度以KL散度收敛至高斯分布，其极限协方差矩阵由矩阵积(DG)^T DG的逆给出。
• 对于单峰目标测度，KL近似问题的Γ-极限结果为单个高斯分布的完美重构，残差差异为零。
• 对于多峰目标测度，最优高斯混合近似可捕捉各模式，且极限KL差异被显式刻画为两项相对熵之和（定理4.2）。
• 先验在极限中并未消失；其影响通过高斯混合的权重体现，这是经典BvM结果中未捕捉到的新特征。
• 该证明方法通过将归一化常数与对数密度分离，实现了强于经典BvM证明的KL收敛性，后者通常依赖于总变差和连续性论证。