[论文解读] On the Bernstein-Von Mises Theorem for High Dimensional Nonlinear Bayesian Inverse Problems

Yulong Lu|arXiv (Cornell University)|Jun 1, 2017

Statistical Methods and Inference参考文献 27被引用 12

一句话总结

本文在小噪声极限下建立了高维非线性贝叶斯反问题的伯恩斯坦-冯米塞斯定理，证明了在未知参数数量的精确增长条件下后验渐近正态性。关键结果表明，后验分布会集中在以高效估计量为中心的正态分布周围，总变差距离以 $\mathcal{O}_p(n^{-1/2}d^3\log d)$ 的速率衰减，前提是维度 $d$ 相对于样本量 $n$ 足够缓慢地增长。该结果将经典 BvM 理论扩展至高维、非线性、不适定正向模型的反问题。

ABSTRACT

We prove a Bernstein-von Mises theorem for a general class of high dimensional nonlinear Bayesian inverse problems in the vanishing noise limit. We propose a sufficient condition on the growth rate of the number of unknown parameters under which the posterior distribution is asymptotically normal. This growth condition is expressed explicitly in terms of the model dimension, the degree of ill-posedness of the inverse problem and the noise parameter. The theoretical results are applied to a Bayesian estimation of the medium parameter in an elliptic problem.

研究动机与目标

• 在高维、非线性且不适定的贝叶斯反问题设定下建立伯恩斯坦-冯米塞斯（BvM）定理。
• 推导出未知参数数量的增长率相对于噪声水平的充分条件，使得后验分布趋于渐近正态。
• 将经典 BvM 结果——此前仅适用于有限维或非参数模型——扩展至噪声趋于零的高维非线性反问题。
• 通过椭圆偏微分方程中介质参数的贝叶斯估计应用，验证理论结果。

提出的方法

• 构建了一类具有趋于零噪声极限的高维非线性贝叶斯反问题的通用框架。
• 引入了关于模型维度 $d$、噪声水平 $n^{-1/2}$ 以及不适化程度的生长条件，表达为 $n^{-1/2}d^3\log d \to 0$。
• 通过验证后验分布在真实参数处以 $n^{-1/2}$ 速率收缩，并且在总变差距离下收敛于正态分布，应用 BvM 定理框架。
• 利用对数似然函数 Hessian 算子的特征值估计以及正向映射 $G$ 的稳定性界，控制后验集中度与曲率。
• 在参数向量 $\mathbf{q}$ 上采用乘积先验，其对数密度导数有界，满足确保先验相容性的正则性条件。
• 通过证明后验测度在总变差距离下收敛于以高效估计量 $\triangle_n$ 为中心、协方差为 $\frac{1}{n}\boldsymbol{\Sigma}$ 的正态分布，推导出后验的渐近正态性。

实验结果

研究问题

• RQ1 在维度 $d$ 和噪声水平 $n^{-1/2}$ 满足何种条件下，高维非线性贝叶斯反问题的后验分布趋于渐近正态？
• RQ2 经典伯恩斯坦-冯米塞斯定理能否扩展至未知参数数量随噪声减小而增长的非线性、不适定反问题？
• RQ3 在 BvM 框架下，仍能使后验在总变差距离下收敛于正态分布的模型维度 $d$ 的精确增长率是什么？
• RQ4 正向问题的不适化程度如何影响 BvM 框架中参数维度的允许增长？

主要发现

• 后验分布在总变差距离下收敛于以高效估计量 $\triangle_n$ 为中心、协方差为 $\frac{1}{n}\boldsymbol{\Sigma}$ 的正态分布，其中 $\boldsymbol{\Sigma} = (\nabla G(\mathbf{q}_0)^T \nabla G(\mathbf{q}_0))^{-1}$。
• 总变差距离的收敛速率被限制在 $\mathcal{O}_p(n^{-1/2}d^3\log d)$，在条件 $n^{-1/2}d^3\log d \to 0$ 下，当 $n \to \infty$ 时趋于零。
• 生长条件 $n^{-1/2}d^3\log d \to 0$ 明确关联了未知参数数量 $d$、噪声水平 $n^{-1/2}$ 以及反问题的不适化程度。
• 该结果在先验的弱正则性假设下成立，具体为：每个分量的对数密度是利普希茨连续的，且在紧集上其导数有统一有界。
• 与椭圆反问题相关的正向映射 $G$ 满足所需的正则性与稳定性条件，使得可应用通用的 BvM 结果。
• 理论框架证实，在维度足够缓慢增长的条件下，贝叶斯可信集与频繁学派置信区间在高维非线性设定下渐近等价。