[论文解读] Bayesian mode and maximum estimation and accelerated rates of contraction

William Weimin Yoo, Subhashis Ghosal|arXiv (Cornell University)|Aug 12, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用 5

一句话总结

本文提出了一种贝叶斯两阶段方法，使用张量积样条和高斯先验来估计非参数回归函数的众数和最大值。在固定采样和顺序采样下，该方法建立了众数和最大值的最优后验收缩率，并表明两阶段贝叶斯方法通过利用第一阶段的后验不确定性来指导有针对性的数据采集，从而加速收敛至极小极大顺序采样速率。

ABSTRACT

We study the problem of estimating the mode and maximum of an unknown regression function in the presence of noise. We adopt the Bayesian approach by using tensor-product B-splines and endowing the coefficients with Gaussian priors. In the usual fixed-in-advanced sampling plan, we establish posterior contraction rates for mode and maximum and show that they coincide with the minimax rates for this problem. To quantify estimation uncertainty, we construct credible sets for these two quantities that have high coverage probabilities with optimal sizes. If one is allowed to collect data sequentially, we further propose a Bayesian two-stage estimation procedure, where a second stage posterior is built based on samples collected within a credible set constructed from a first stage posterior. Under appropriate conditions on the radius of this credible set, we can accelerate optimal contraction rates from the fixed-in-advanced setting to the minimax sequential rates. A simulation experiment shows that our Bayesian two-stage procedure outperforms single-stage procedure and also slightly improves upon a non-Bayesian two-stage procedure.

研究动机与目标

• 开发一种贝叶斯框架，用于在存在噪声的情况下估计未知回归函数的众数和最大值。
• 在预先确定的采样设置下，建立众数和最大值的最优后验收缩率。
• 在贝叶斯框架下，构建具有最优大小和高渐近覆盖概率的众数和最大值的可信集。
• 提出一种贝叶斯两阶段方法，通过利用第一阶段的后验不确定性来指导第二阶段采样，从而加速后验收缩率。
• 证明该两阶段贝叶斯方法能够达到极小极大顺序采样速率，并优于单阶段方法和非贝叶斯两阶段方法。

提出的方法

• 使用张量积样条表示未知回归函数，其系数赋予高斯先验。
• 采用具有连续正先验的分层贝叶斯模型对误差方差 σ² 进行建模，以实现后验推断。
• 通过将众数和最大值的估计误差与函数及其一阶导数的上确界范数误差相关联，建立后验收缩率。
• 利用后部分布的分位数构建函数及其导数的联合可信带，确保最优大小和高覆盖概率。
• 实施两阶段贝叶斯程序：第一阶段的后验结果生成一个可信集，第二阶段的数据在该集合内采集以优化估计。
• 将第一阶段的后部分布作为第二阶段的先验，实现顺序学习并提高效率。

实验结果

研究问题

• RQ1 在预先确定的采样设置下，估计非参数回归函数的众数和最大值的最优后验收缩率是什么？
• RQ2 在贝叶斯框架下，能否构建具有最优大小和高渐近覆盖概率的众数和最大值的可信集？
• RQ3 贝叶斯两阶段方法能否在固定采样设置之外加速后验收缩率？
• RQ4 贝叶斯两阶段方法是否能实现众数和最大值估计的极小极大顺序采样速率？
• RQ5 所提出的贝叶斯两阶段方法与单阶段方法和非贝叶斯两阶段方法相比，性能如何？

主要发现

• 众数的后验收缩率为 $ n^{-(ar{eta}-1)/(2ar{eta}+d)} $，与预先确定采样下的极小极大速率一致，其中 $ ar{eta} $ 为光滑性参数。
• 最大值的后验收缩率为 $ n^{-ar{eta}/(2ar{eta}+d)} $，同样与预先确定采样下的极小极大速率一致。
• 众数和最大值的可信集达到最优大小 $ ( ext{log} hinspace n / n)^{ar{eta}/(2ar{eta}+d)} $，且渐近覆盖概率趋于 1。
• 在第一阶段可信集半径满足适当条件时，两阶段贝叶斯方法实现了极小极大顺序收缩速率：众数为 $ n^{-(ar{eta}-1)/(2ar{eta})} $，最大值为 $ n^{-1/2} $。
• 模拟结果表明，贝叶斯两阶段方法在估计精度上优于单阶段贝叶斯方法，并略微优于非贝叶斯两阶段方法。
• 该方法在各向异性霍尔德光滑性下具有鲁棒性，其速率取决于最小光滑性指数 $ ar{eta} $，当 $ ar{eta} > 1 + rac{1}{2}ig(1 + rac{d}{2}ig)^{1/2} $ 时实现加速。