[论文解读] Bernstein - von Mises Theorem for growing parameter dimension

Vladimir Spokoiny|arXiv (Cornell University)|Feb 14, 2013

Advanced Topology and Set Theory参考文献 2被引用 28

一句话总结

该论文为参数模型在维度 $ p $ 增长的情况下建立了非渐近、鲁棒的伯恩斯坦-冯·米塞斯（BvM）定理，表明在 $ p^3/n \to 0 $ 条件下，后验分布近似为正态分布，其均值接近最大似然估计（MLE），方差与费雪信息矩阵的逆匹配。该结果在模型误设和有限样本下依然成立，通过一种新颖的随机场最大值的界，显式地以 $ n $ 和 $ p $ 表示误差项的控制。

ABSTRACT

This paper revisits the prominent Fisher, Wilks, and Bernstein -- von Mises (BvM) results from different viewpoints. Particular issues to address are: nonasymptotic framework with just one finite sample, possible model misspecification, and a large parameter dimension. In particular, in the case of an i.i.d. sample, the mentioned results can be stated for any smooth parametric family provided that the dimension \(p \) of the parameter space satisfies the condition "\(p^{2}/n \) is small" for the Fisher expansion, while the Wilks and the BvM results require "\(p^{3}/n \) is small".

研究动机与目标

• 解决高维参数模型中有限样本、对误设鲁棒的 BvM 结果缺乏的问题。
• 建立后验分布近似正态的条件，即使参数维度 $ p $ 随样本量 $ n $ 增长亦成立。
• 为后验的正态近似提供显式、非渐近的误差界，独立于弱收敛或中心极限定理（CLT）。
• 通过改进的夹逼技术，将经典 BvM 结果从固定维渐近扩展至中等或小样本且 $ p $ 较大的情形。
• 阐明局部二次近似对对数似然函数的作用，以及大偏差界在无需依赖中心极限定理的情况下验证 BvM 的关键作用。

提出的方法

• 提出一种新的向量值随机场最大值的界，改进了先前工作（SP2011）中的夹逼装置，从而更紧密地控制误差项。
• 将该界应用于推导 MLE 和对数似然超额的非渐近展开，适用于有限样本。
• 在 MLE 附近对对数似然函数进行局部二次近似，表明 BvM 仅依赖于该近似和尾部界。
• 同时考虑非信息先验和正则先验，证明后验均值能良好近似 MLE，后验方差能估计费雪信息矩阵的逆。
• 推导出以 $ n $ 和 $ p $ 表示的显式误差界，表明当 $ p^3/n \to 0 $ 时 BvM 近似成立，而 $ p^2/n \to 0 $ 足够保证费雪展开成立。
• 依赖于随机局部渐近线性（LAN）型条件，避免使用经典弱收敛或 CLT 论证，使结果对模型误设具有鲁棒性。

实验结果

研究问题

• RQ1 在参数维度 $ p $ 增长的有限样本中，伯恩斯坦-冯·米塞斯定理仍有效的临界参数维度 $ p $ 是多少？
• RQ2 在高维和误设模型中，能否在不依赖渐近正态性或弱收敛的前提下验证 BvM 现象？
• RQ3 后验正态近似中的误差项如何依赖于样本量 $ n $ 和维度 $ p $？能否显式地界定这些误差？
• RQ4 在高维设定下，后验均值在何种条件下能近似 MLE，后验方差能近似费雪信息矩阵的逆？
• RQ5 能否通过非渐近、非 CLT 的方法，将经典 BvM 结果扩展至非独立同分布或误设模型的有限样本情形？

主要发现

• 在满足温和正则性和局部二次性条件的前提下，当 $ p^3/n \to 0 $ 时，伯恩斯坦-冯·米塞斯定理在有限样本中对增长的参数维度 $ p $ 依然成立。
• 即使在模型误设下，后验分布也近似为正态分布，其均值接近 MLE，方差接近费雪信息矩阵的逆。
• 推导出后验正态近似的显式误差界，误差以 $ O(p^3/n) $ 速率衰减，优于以往结果。
• MLE 在更弱条件 $ p/n \to 0 $ 下仍保持一致，而 MLE 的费雪展开在 $ p^2/n \to 0 $ 下成立，显示出条件的层级关系。
• BvM 结果仅依赖于对数似然函数的局部二次近似和大偏差界——无需依赖中心极限定理或弱收敛。
• 后验矩（均值与协方差）可用于构建可靠的椭球可信集，且后验均值可作为 MLE 的鲁棒估计量。