[论文解读] A note on Bayesian convergence rates under local prior support conditions

Ryan R. Martin, Liang Hong+1 more|arXiv (Cornell University)|Jan 15, 2012

Statistical Methods and Inference参考文献 22被引用 3

一句话总结

本文在仅假设局部先验支撑条件——具体而言，先验在真实密度附近具有Kullback–Leibler型局部集中性——的前提下，通过简洁的论证建立了密度估计中贝叶斯后验收敛速率的最优性。结果表明，预测密度的Cesaro平均以及（分数阶似然幂次的）伪后验均能在不依赖于诸如度量熵界等严格全局先验条件的情况下，实现近乎最优的收敛速率。

ABSTRACT

Bounds on Bayesian posterior convergence rates, assuming the prior satisfies both local and global support conditions, are now readily available. In this paper we explore, in the context of density estimation, Bayesian convergence rates assuming only local prior support conditions. Our results give optimal rates under minimal conditions using very simple arguments.

研究动机与目标

• 研究在仅假设局部先验支撑条件时，密度估计中贝叶斯后验的收敛速率。
• 证明在无需全局先验支撑条件（如度量熵界）的情况下，仍可实现最优收敛速率。
• 表明通过Cesaro平均与伪后验等简单修改，可在最小假设下获得强收敛结果。
• 通过证明仅需局部集中性即可实现近乎最优速率，挑战后验集中理论中对严格全局条件的必要性。

提出的方法

• 分析贝叶斯预测密度的Cesaro平均，以在局部先验支撑下建立收敛速率。
• 使用中心化论证与概率界，证明Cesaro平均可任意接近最优速率。
• 引入并分析一种伪后验，即将似然函数提升至分数阶幂次（例如1/2），从而在仅局部条件下实现后验集中。
• 应用Jensen不等式与矩界，确保伪后验的合理性与集中行为。
• 推导伪后验分母与分子的界，证明后验概率在不与真值收缩邻域相交的Hellinger球上趋于零。
• 将结果推广至一般分数阶幂次κ ∈ (0,1)，表明当κ → 1时，伪后验的收敛速率趋近于真实后验的速率。

实验结果

研究问题

• RQ1 在仅假设局部先验支撑条件、无全局条件的情况下，能否实现最优贝叶斯收敛速率？
• RQ2 在最小先验假设下，预测密度的Cesaro平均在渐近行为上如何表现？
• RQ3 伪后验（带分数阶似然幂次）在弱化条件下实现收敛速率中起何作用？
• RQ4 能否使伪后验的收敛速率在仅需局部支撑的前提下，任意接近真实后验的速率？
• RQ5 移除全局先验支撑条件后，密度估计中可实现的收敛速率如何变化？

主要发现

• 仅在局部先验支撑（即Kullback–Leibler集中）条件下，预测密度的Cesaro平均可实现任意接近最优速率的收敛速率。
• 当M² > (C+1)/2时，将似然函数提升至1/2次幂的伪后验可在半径为Mεₙ的Hellinger球上实现后验集中，且仅依赖于相同的局部条件。
• 伪后验的收敛速率近乎最优，且在某些情形（如狄利克雷过程混合或伯恩斯坦多项式先验）下，其收敛速率可比真实后验快一个对数因子。
• 该结果对任意κ ∈ (0,1)的分数阶幂次均成立，且当κ → 1时，伪后验在有限样本行为上趋近于真实后验，同时在仅局部条件假设下仍保持渐近最优性。
• 伪后验的分母满足Iₙ ≥ e⁻ᶜⁿεₙ²（概率意义下），其中c > (C+1)/2，从而支持紧致的后验集中界。
• 核心洞见在于：全局先验支撑条件（如度量熵界）并非最优收敛所必需；仅通过伪后验或Cesaro平均，局部集中性本身即足够。