[論文レビュー] Honest Bayesian confidence sets for the L2-norm

Botond Szabó, Aad van der Vaart+1 more|arXiv (Cornell University)|Nov 29, 2013

Probabilistic and Robust Engineering Design参考文献 18被引用数 8

ひとこと要約

本稿は、正則性が $[D, 2D]$ の Sobolev 現象における白色雑音モデルにおける $L^2$-ノルムにおけるベイズ信頼集合の頻度的カバレッジ特性を調査する。標準的な経験ベイズおよび階層ベイズ手法が、悪いハイパーパrameter選択のため、過信し、誤解を招く不確実性の定量化をもたらすことが示された。著者らは、リスク推定に基づく新しい経験ベイズ手法を提案し、最適なサイズを持つ誠実で適応的な信頼集合を達成する。

ABSTRACT

We investigate the problem of constructing Bayesian credible sets that are honest and adaptive for the L2-loss over a scale of Sobolev classes with regularity ranging between [D; 2D], for some given D in the context of the signal-in-white-noise model. We consider a scale of prior distributions indexed by a regularity hyper-parameter and choose the hyper-parameter both by marginal likelihood empirical Bayes and by hierarchical Bayes method, respectively. Next we consider a ball centered around the corresponding posterior mean with prescribed posterior probability. We show by theory and examples that both the empirical Bayes and the hierarchical Bayes credible sets give misleading, overconfident uncertainty quantification for certain oddly behaving truth. Then we construct a new empirical Bayes method based on risk estimation, which provides the correct uncertainty quantification and optimal size.

研究の動機と目的

• Sobolev 現象のスケール上での $L^2$-ノルムにおけるベイズ信頼集合の頻度的カバレッジ特性を調査すること。
• この設定において、標準的な経験ベイズおよび階層ベイズ手法が誠実な不確実性の定量化を提供できない理由を特定すること。
• リスク推定に基づく新しい経験ベイズアプローチを開発し、誠実で適応的な信頼集合を保証すること。
• 提案された信頼集合のカバレッジとサイズ最適性に関する理論的保証を確立すること。

提案手法

• 正則性ハイパーパrameter $\alpha$ でインdeックスされた事前分布のスケールを用いる。
• ハイパーパrameter選択にマージナル尤度経験ベイズおよび階層ベイズを採用する。
• 信頼集合を、事後平均を中心とする、所定の事後確率を持つ球体として構築する。
• 事後平均の頻度的リスクを推定することに基づく、新しい経験ベイズ手法を導入し、ハイパーパrameterを選択する。
• バイアス、事後分散、カバレッジ確率のバウンドを用いて漸近的挙動を分析する。
• 濃縮不等式および列の $\ell^2$-ノルムに関する和分推定を含む理論的道具を適用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な経験ベイズおよび階層ベイズ信頼集合は、Sobolev 現象における $L^2$-ノルムで誠実なカバレッジを提供できないのか？
• RQ2 リスク推定に基づく修正された経験ベイズ手法は、誠実で適応的な信頼集合を達成できるか？
• RQ3 正則性が $[D, 2D]$ の Sobolev 現象における $L^2$-ノルムに対して、誠実で適応的な信頼集合の最適なサイズは何か？
• RQ4 ハイパーパrameterの選択が、信頼集合の頻度的カバレッジとサイズにどのように影響するか？
• RQ5 非パラメトリック設定において、事後平均が最適な頻度的リスクを達成する条件は何か？

主な発見

• 標準的な経験ベイズおよび階層ベイズ手法は、特定の真の状態構成に対して過信し、誠実なカバレッジを達成できない信頼集合を生成する。
• 提案されたリスクベースの経験ベイズ手法は、事後平均の頻度的リスクを最小化することでハイパーパrameterを選択することにより、誠実なカバレッジを保証する。
• その結果得られる信頼集合は最適なサイズを達成し、真の正則性 $\beta = D$ の下で半径 $r_{n,\gamma}(\hat{\alpha}_n) \lesssim n^{-2D/(1+4D)}$ となる。
• この手法は、全スケール $\cup_{\beta \in [D, 2D]} \Theta^\beta$ にわたる一様なカバレッジ確率が $1 - \gamma$ に収束することを保証する。
• 理論的分析により、バイアス項 $\|B_n(2D; \theta_0)\|$ が $n^{-2\beta/(1+2\beta)}$ 以上に下限され、これが最適レートを上回ることから、標準的手法の失敗が説明される。
• 新しい手法により、部分列に沿って $\sup_{\alpha \leq 2D} h_{n_j}(\alpha; \theta_0) \to 0$ が成り立ち、真の正則性 $\beta = D$ の下でハイパーパrameterが $\alpha = 2D$ で一貫して選択されることを示す。