[论文解读] A Diffusion Process Perspective on Posterior Contraction Rates for Parameters

Wenlong Mou, Nhat Ho+3 more|arXiv (Cornell University)|Sep 3, 2019

Bayesian Methods and Mixture Models参考文献 38被引用 4

一句话总结

本文提出一种扩散过程框架，通过将后验分布建模为朗之万扩散过程，分析贝叶斯模型中的后验收缩率。通过控制矩动态和随机扰动，推导出通过非线性方程将总体结构与噪声联系起来的非渐近收缩率，建立伯恩斯坦-冯·米塞斯型保证，并在具体模型和朗之万采样近似上验证了结果。

ABSTRACT

We analyze the posterior contraction rates of parameters in Bayesian models via the Langevin diffusion process, in particular by controlling moments of the stochastic process and taking limits. Analogous to the non-asymptotic analysis of statistical M-estimators and stochastic optimization algorithms, our contraction rates depend on the structure of the population log-likelihood function, and stochastic perturbation bounds between the population and sample log-likelihood functions. Convergence rates are determined by a non-linear equation that relates the population-level structure to stochastic perturbation terms, along with a term characterizing the diffusive behavior. Based on this technique, we also prove non-asymptotic versions of a Bernstein-von-Mises guarantee for the posterior. We illustrate this general theory by deriving posterior convergence rates for various concrete examples, as well as approximate posterior distributions computed using Langevin sampling procedures.

研究动机与目标

• 开发一种基于随机微分方程的非渐近框架，用于分析后验收缩率。
• 通过将后验演化建模为扩散过程，将频率学M-估计器分析技术扩展至贝叶斯后验集中。
• 推导依赖于总体对数似然结构和样本与总体目标之间随机扰动的收缩率。
• 基于此扩散过程视角，证明后验分布的非渐近伯恩斯坦-冯·米塞斯型结果。
• 在具体模型和通过朗之万采样程序获得的近似后验上验证理论。

提出的方法

• 将后验演化建模为朗之万扩散过程，其中后验密度遵循由对数似然得分函数驱动的伊tô过程。
• 通过李雅普诺夫函数方法控制扩散过程的矩，界定向后验下参数的p阶矩。
• 推导一个关键的非线性方程，将总体层面的凹性结构（通过ψ表示）与随机扰动项（通过ζ表示）及扩散行为联系起来。
• 使用格朗沃尔不等式界定向后验分布的期望矩增长，并推导出后验分布的统一矩界。
• 应用截断和伯恩斯坦型不等式，控制经验目标差异的尾部行为，确保经验对数似然在总体版本周围的统一集中性。
• 利用极限定理和积分不等式，分析扩散过程的长期行为，并建立其收敛至后验众数的结果。

实验结果

研究问题

• RQ1 如何通过随机微分方程的视角分析贝叶斯模型中的后验收缩率？
• RQ2 总体对数似然结构及其由抽样引起的扰动在决定后验集中性中起什么作用？
• RQ3 能否基于扩散过程框架建立非渐近伯恩斯坦-冯·米塞斯定理？
• RQ4 收缩率如何依赖于总体目标曲率与经验目标中噪声之间的相互作用？
• RQ5 朗之万采样近似在多大程度上能继承真实后验的相同收缩率？

主要发现

• 后验收缩率由不等式ψ(r) ≤ εₙζ(r)的最大解决定，其中ψ捕捉总体层面的曲率，ζ度量随机扰动。
• 通过分析扩散过程的极限行为及其矩动态，建立了非渐近伯恩斯坦-冯·米塞斯保证。
• 后验分布的p阶矩被统一界定向一个依赖于参数维度d、对数似然曲率cₚ和噪声水平Rδ的项。
• 后验下参数的期望L²范数的界满足E[‖θ‖₂ᵖ | Xⁿ]¹ᐟᵖ ≤ (p+1)Rδ + √(6(p+d)/cₚ)，显示出维度依赖的集中性。
• 该理论成功刻画了特定模型的收缩率，并验证了朗之万采样近似继承了相同的非渐近行为。
• 证明了一个极限结果，表明在弱正则性条件下，扩散过程的长时间行为收敛至一个集中在真实参数附近的分布。