[論文レビュー] The Bayes Lepski's Method and Credible Bands through Volume of Tubular Neighborhoods

William Weimin Yoo, Aad van der Vaart|arXiv (Cornell University)|Nov 18, 2017

Image and Signal Denoising Methods参考文献 18被引用数 4

ひとこと要約

本稿では、データ駆動の停止ルールを通じて事後平均バイアスと標準偏差のバランスを取ることで、非パラメトリック回帰における適応的信用区間を実現する、新しいベイズ的手法「ベイズ・レプスキー法」を提案する。バンド幅の計算を単位球面上のチューブ型近傍領域の体積を含む幾何学的問題に再定式化することで、頻度的カバレッジ保証を達成し、Bスプラインおよびウェーブレットに対して閉形式解が得られる。これは、不確実性の定量化および自己同形性に関する新たな知見をもたらす。

ABSTRACT

For a general class of priors based on random series basis expansion, we develop the Bayes Lepski's method to estimate unknown regression function. In this approach, the series truncation point is determined based on a stopping rule that balances the posterior mean bias and the posterior standard deviation. Equipped with this mechanism, we present a method to construct adaptive Bayesian credible bands, where this statistical task is reformulated into a problem in geometry, and the band's radius is computed based on finding the volume of certain tubular neighborhood embedded on a unit sphere. We consider two special cases involving B-splines and wavelets, and discuss some interesting consequences such as the uncertainty principle and self-similarity. Lastly, we show how to program the Bayes Lepski stopping rule on a computer, and numerical simulations in conjunction with our theoretical investigations concur that this is a promising Bayesian uncertainty quantification procedure.

研究の動機と目的

• ベイズ非パラメトリック回帰における$L_2$最適と$L_∞$最適の調整パrameterの不一致が信用区間のカバレッジを損なう問題に対処すること。
• 事後平均バイアスと標準偏差のバランスを取ることで、$L_∞$最適な切断点$J$を特定する実用的で計算可能なベイズ調整ルールを開発すること。
• 適応的信用区間の構築を、単位球面上の曲線のチューブ型近傍領域の体積を含む幾何学的問題に再定式化し、明示的な半径計算を可能にすること。
• 理論的解析と数値シミュレーションを通じて、本手法の有効性を示し、標準的なベイズ的手法に比べてより優れたカバレッジ確率を達成すること。
• BスプラインおよびCDVウェーブレット基底の文脈において、不確実性原理や自己同形性といったより深い意味の解釈を検討すること。

提案手法

• ベイズ・レプスキー法は、事後平均バイアスが事後標準偏差を超えるまで$J$を減少させる停止ルールを用い、$L_∞$最適な適応性を保証する。
• 直接的なバイアス推定を避けるために、事後平均の対比較差分を事後平均バイアスの代理として用いる。
• 信用区間の半径は、基底関数空間における単位球面上に埋め込まれた曲線の周囲のチューブ型近傍領域の体積関数として計算される。
• BスプラインおよびCDVウェーブレットに対しては、チューブ型近傍領域の体積が解析的に扱えるため、バンド幅の閉形式表現が得られる。
• 本手法は、帯行列のスペクトル的性質と多項式近似理論を用いて作用素ノルムの境界を付与し、安定性を保証する。
• 本手法は、リバーシブルジャンプMCMCのような複雑なMCMCスキームを避けるために、事後要約統計量に基づく決定的停止ルールを用いて計算的に実装可能である。

実験結果

リサーチクエスチョン

• RQ1 ランダムシリーズ事前分布における$L_∞$最適な切断点$J$を、$L_2$最適な選択とは独立して適応的に選択できるようなベイズ的手法を設計できるか？
• RQ2 非パラメトリック回帰において、高い信用度と頻度的カバレッジの両方を達成するための適応的ベイズ信用区間をどのように構築できるか？
• RQ3 信用区間の半径が、単位球面上のチューブ型近傍領域の体積を用いて計算可能となる幾何的解釈は何か？
• RQ4 得られた信用区間は、Bスプラインおよびウェーブレット基底において、どの程度自己同形性を示すか、あるいは不確実性原理に従うか？
• RQ5 Lepski型の停止ルールは、リバーシブルジャンプMCMCアルゴリズムを避けて、事後要約統計量のみを用いて実用的に実装可能か？

主な発見

• ベイズ・レプスキー法は、事後平均バイアスと標準偏差のバランスを取ることで、標準的な事前分布に内在する$L_2$バイアスを是正し、$L_∞$最適な$J$を効果的に選択する。
• BスプラインおよびCDVウェーブレットに対しては、チューブ型近傍領域の体積が、信用区間の半径について明示的かつ閉形式の表現を提供する。
• 数値的シミュレーションにより、本手法が名目水準に近いカバレッジ確率を達成することが確認され、標準的なベイズ信用区間を上回る頻度的カバレッジ性能を示した。
• 本手法により、$\alpha$-ホルダー滑らかさ関数に対する事後収縮率が、シュプレッター最適レートと一致することが保証された。
• 幾何的再定式化により、特にウェーブレット基底において自己同形構造が顕在化し、不確実性原理との深い関係が示唆された。
• リバーシブルジャンプMCMCの必要性を回避するため、事後要約統計量に基づく決定的停止ルールを用いることで、効率的な計算が可能となった。