[论文解读] Honest Bayesian confidence sets for the L2-norm

Botond Szabó, Aad van der Vaart+1 more|arXiv (Cornell University)|Nov 29, 2013

Probabilistic and Robust Engineering Design参考文献 18被引用 8

一句话总结

本文研究了在 Sobolev 类中正则性属于 $[D, 2D]$ 的白噪声模型下，$L^2$-范数中贝叶斯可信集的频率覆盖性质。结果表明，标准的经验贝叶斯与层次贝叶斯方法由于超参数选择不佳，导致过度自信、具有误导性的不确定性量化。作者提出了一种基于风险估计的新颖经验贝叶斯方法，可实现诚实且自适应的可信集，且大小达到最优。

ABSTRACT

We investigate the problem of constructing Bayesian credible sets that are honest and adaptive for the L2-loss over a scale of Sobolev classes with regularity ranging between [D; 2D], for some given D in the context of the signal-in-white-noise model. We consider a scale of prior distributions indexed by a regularity hyper-parameter and choose the hyper-parameter both by marginal likelihood empirical Bayes and by hierarchical Bayes method, respectively. Next we consider a ball centered around the corresponding posterior mean with prescribed posterior probability. We show by theory and examples that both the empirical Bayes and the hierarchical Bayes credible sets give misleading, overconfident uncertainty quantification for certain oddly behaving truth. Then we construct a new empirical Bayes method based on risk estimation, which provides the correct uncertainty quantification and optimal size.

研究动机与目标

• 研究在 Sobolev 类尺度上 $L^2$-范数下贝叶斯可信集的频率覆盖性质。
• 识别为何标准的经验贝叶斯与层次贝叶斯方法在此设定下无法提供诚实的不确定性量化。
• 开发一种基于风险估计的新颖经验贝叶斯方法，以确保可信集的诚实性与自适应性。
• 为所提出的可信集建立覆盖性质与大小最优性的理论保证。

提出的方法

• 使用以正则性超参数 $\alpha$ 索引的先验分布族。
• 采用边际似然经验贝叶斯与层次贝叶斯方法进行超参数选择。
• 将可信集构造为以后验均值为中心、具有指定后验概率的球体。
• 提出一种基于估计后验均值的频率风险来选择超参数的新颖经验贝叶斯方法。
• 通过偏差、后验方差与覆盖概率的界分析渐近行为。
• 应用理论工具，包括 $\ell^2$-范数序列的集中不等式与求和估计。

实验结果

研究问题

• RQ1 为何标准的经验贝叶斯与层次贝叶斯可信集在 Sobolev 类的 $L^2$-范数下无法提供诚实覆盖？
• RQ2 能否通过基于风险估计的改进经验贝叶斯方法实现诚实且自适应的可信集？
• RQ3 在正则性属于 $[D, 2D]$ 的 Sobolev 类上，$L^2$-范数下诚实且自适应可信集的最优大小为何？
• RQ4 超参数的选择如何影响可信集的频率覆盖与大小？
• RQ5 在此非参数设定下，后验均值在何种条件下可实现最优频率风险？

主要发现

• 标准的经验贝叶斯与层次贝叶斯方法产生过度自信的可信集，对于某些真实配置无法实现诚实覆盖。
• 所提出的基于风险的经验贝叶斯方法通过基于最小化后验均值的频率风险来选择超参数，确保了诚实覆盖。
• 所得可信集达到最优大小，当真实正则性为 $\beta = D$ 时，半径满足 $r_{n,\gamma}(\hat{\alpha}_n) \lesssim n^{-2D/(1+4D)}$。
• 该方法保证了在整个 Sobolev 尺度 $\cup_{\beta \in [D, 2D]} \Theta^\beta$ 上，覆盖概率一致收敛至 $1 - \gamma$。
• 理论分析表明，偏差项 $\|B_n(2D; \theta_0)\|$ 的下界为 $n^{-2\beta/(1+2\beta)}$，该速率大于最优速率，解释了标准方法的失败原因。
• 新方法确保沿子序列有 $\sup_{\alpha \leq 2D} h_{n_j}(\alpha; \theta_0) \to 0$，意味着当真实正则性为 $\beta = D$ 时，超参数在 $\alpha = 2D$ 处一致被选中。