[论文解读] The Bayes Lepski's Method and Credible Bands through Volume of Tubular Neighborhoods

William Weimin Yoo, Aad van der Vaart|arXiv (Cornell University)|Nov 18, 2017

Image and Signal Denoising Methods参考文献 18被引用 4

一句话总结

本文提出贝叶斯勒夫斯基方法（Bayes Lepski’s method），一种新颖的贝叶斯方法，用于在非参数回归中自适应构造可信区间，通过数据驱动的停止规则平衡后验均值偏差与标准差。通过将区间半径的计算重新表述为单位球面上管状邻域体积的几何问题，该方法实现了频率学派的覆盖保证，并为B样条和小波基函数提供了闭式解，对不确定性量化和自相似性具有重要意义。

ABSTRACT

For a general class of priors based on random series basis expansion, we develop the Bayes Lepski's method to estimate unknown regression function. In this approach, the series truncation point is determined based on a stopping rule that balances the posterior mean bias and the posterior standard deviation. Equipped with this mechanism, we present a method to construct adaptive Bayesian credible bands, where this statistical task is reformulated into a problem in geometry, and the band's radius is computed based on finding the volume of certain tubular neighborhood embedded on a unit sphere. We consider two special cases involving B-splines and wavelets, and discuss some interesting consequences such as the uncertainty principle and self-similarity. Lastly, we show how to program the Bayes Lepski stopping rule on a computer, and numerical simulations in conjunction with our theoretical investigations concur that this is a promising Bayesian uncertainty quantification procedure.

研究动机与目标

• 为解决贝叶斯非参数回归中$L_2$-最优与$L_∞$-最优调参参数之间的不匹配问题，该问题会损害可信区间的覆盖性能。
• 开发一种实用且可计算的贝叶斯调参规则，通过平衡后验均值偏差与标准差，选择$L_∞$-最优的截断点$J$。
• 将自适应可信区间的构建重新表述为涉及单位球面上管状邻域体积的几何问题，从而实现半径的显式计算。
• 通过理论分析与数值模拟证明该方法的有效性，显示其在频率学派覆盖概率方面优于标准贝叶斯方法。
• 探讨更深层次的含义，如在B样条与CDV小波基函数背景下，不确定性原理与自相似性的关系。

提出的方法

• 贝叶斯勒夫斯基方法采用一种停止规则，通过逐步减小$J$，直至后验均值偏差超过后验标准差，从而确保$L_∞$-最优适应。
• 该方法利用后验均值之间的成对差值作为后验均值偏差的代理，避免了直接估计偏差。
• 可信区间通过将半径表示为嵌入基函数空间单位球面上曲线的管状邻域体积的函数来构建。
• 对于B样条和CDV小波，管状邻域的体积具有解析可处理性，从而可导出可信区间半径的闭式表达式。
• 该方法依赖于带状矩阵的谱性质与多项式逼近理论，以有界算子范数并确保稳定性。
• 计算上，该方法使用后验摘要统计量实现，避免了如可逆跳跃MCMC等复杂马尔可夫链蒙特卡洛算法。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯程序，自适应地选择随机级数先验中的$L_∞$-最优截断点$J$，且独立于$L_2$-最优选择？
• RQ2 如何构建自适应的贝叶斯可信区间，使其在非参数回归中同时具备高可信度与频率学派覆盖性？
• RQ3 何种几何解释使得可信区间的半径可通过单位球面上管状邻域的体积进行计算？
• RQ4 由此产生的可信区间在B样条与小波基函数下在多大程度上表现出自相似性或遵循不确定性原理？
• RQ5 Lepski型停止规则能否仅通过后验摘要统计量实现，而无需依赖复杂的MCMC算法？

主要发现

• 贝叶斯勒夫斯基方法通过平衡后验均值偏差与标准差，成功选择了$L_∞$-最优的$J$，纠正了标准先验中固有的$L_2$偏差。
• 对于B样条与CDV小波，管状邻域的体积可导出可信区间半径的显式闭式表达式。
• 数值模拟表明，该方法实现了接近名义水平的覆盖概率，在频率学派覆盖性方面优于标准贝叶斯可信区间。
• 该方法确保了在上确界范数下的后验收缩速率与$\alpha$-赫尔德光滑函数的极小极大最优速率一致。
• 几何重述揭示了区间构造中的自相似结构，尤其在小波基函数中表现明显，并暗示其与不确定性原理存在深层联系。
• 该方法通过基于后验摘要统计量的确定性停止规则避免了可逆跳跃MCMC的需求，实现了高效计算。