[论文解读] A General Bernstein--von Mises Theorem in semiparametric models

Ismaël Castillo, Judith Rousseau|arXiv (Cornell University)|May 20, 2013

Statistical Methods and Inference被引用 14

一句话总结

本文在独立同分布和非独立同分布设定下，为广义半参数泛函建立了通用的伯恩斯坦-冯米塞斯定理，为复杂模型中的贝叶斯推断提供了基础性的渐近理论依据。文章引入了新工具以处理半参数偏差，特别是针对低正则性条件下的非线性泛函，并推导了高斯白噪声、随机直方图与高斯过程先验下的密度估计、自回归模型等关键模型的BvM结果。

ABSTRACT

A Bernstein-von Mises theorem is derived for general semiparametric functionals. The result is applied to a variety of semiparametric problems in i.i.d. and non-i.i.d. situations. In particular, new tools are developed to handle semiparametric bias, in particular for nonlinear functionals and in cases where regularity is possibly low. Examples include the squared $L^2$-norm in Gaussian white noise, nonlinear functionals in density estimation, as well as functionals in autoregressive models. For density estimation, a systematic study of BvM results for two important classes of priors is provided, namely random histograms and Gaussian process priors.

研究动机与目标

• 将伯恩斯坦-冯米塞斯定理扩展至常规参数模型之外的一般半参数泛函。
• 解决由半参数偏差引起的贝叶斯渐近理论挑战，特别是在非线性泛函与低正则性设定下。
• 对密度估计中两类主要先验（随机直方图与高斯过程先验）的BvM结果进行系统性分析。
• 为自回归过程与高斯白噪声等复杂模型中的泛函建立后验集中与渐近正态性的有效性。
• 发展理论工具，以处理半参数模型中曲率、偏差与后验集中之间的作用关系。

提出的方法

• 在弱正则性条件下推导通用BvM定理，适用于独立同分布与非独立同分布抽样方案。
• 提出一种新颖框架，通过局部渐近正态性与基于得分的展开，量化并控制半参数偏差，尤其针对非线性泛函。
• 将理论应用于具体模型：高斯白噪声中的$L^2$-范数平方泛函、密度估计中的非线性泛函，以及自回归模型中的泛函。
• 利用经验过程理论与熵条件，验证BvM结果所需的正则性与收敛性假设。
• 分析随机直方图与高斯过程先验下后验分布的行为，证明其在半参数设定下的频派有效性。
• 建立后验分布的泛函收敛至以高效估计量为中心的正态分布的条件，其方差等于费舍尔信息矩阵的逆。

实验结果

研究问题

• RQ1 在何种条件下，广义模型中半参数泛函的后验分布满足伯恩斯坦-冯米塞斯定理？
• RQ2 如何在低正则性条件下，系统性地控制贝叶斯推断中非线性泛函的半参数偏差？
• RQ3 自回归模型与高斯白噪声模型中泛函的后验分布具有何种频派性质？
• RQ4 随机直方图与高斯过程先验是否在一般条件下导致密度估计中有效的BvM型渐近行为？
• RQ5 通用BvM定理能否扩展至非独立同分布与非正则半参数模型？

主要发现

• 在弱正则性与局部渐近正态性条件下，半参数泛函的通用伯恩斯坦-冯米塞斯定理成立。
• 泛函的后验分布收敛至以高效估计量为中心的正态分布，其渐近方差等于费舍尔信息的逆。
• 发展了新工具以控制非线性泛函中的偏差，尤其在低正则性设定下，使先前方法失效的情境下也能获得BvM结果。
• 在适当的光滑性与熵条件之下，密度估计中随机直方图与高斯过程先验的BvM定理得以建立。
• 该结果适用于广泛模型类别，包括高斯白噪声中的$L^2$-范数泛函与含非线性泛函的自回归模型。
• 该框架确保在弱正则性条件下，泛函的后验可信区间为渐近有效的频派置信区间。