[論文レビュー] Bayesian mode and maximum estimation and accelerated rates of contraction

William Weimin Yoo, Subhashis Ghosal|arXiv (Cornell University)|Aug 12, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用数 5

ひとこと要約

本稿では、ガウス的事前分布を用いたテンソル積Bスプラインを用いて、非パラメトリック回帰関数のモードおよび最大値を推定するベイジアン2段階的手順を提案する。固定および逐次的サンプリングの下で、両者のモードおよび最大値に対する最適な事後収縮率を確立し、1段階目の事後分布の不確実性を活用して2段階目のデータ収集を的確に誘導することで、2段階ベイジアン手法が最小最大逐次レートに収束する速度を加速することを示している。

ABSTRACT

We study the problem of estimating the mode and maximum of an unknown regression function in the presence of noise. We adopt the Bayesian approach by using tensor-product B-splines and endowing the coefficients with Gaussian priors. In the usual fixed-in-advanced sampling plan, we establish posterior contraction rates for mode and maximum and show that they coincide with the minimax rates for this problem. To quantify estimation uncertainty, we construct credible sets for these two quantities that have high coverage probabilities with optimal sizes. If one is allowed to collect data sequentially, we further propose a Bayesian two-stage estimation procedure, where a second stage posterior is built based on samples collected within a credible set constructed from a first stage posterior. Under appropriate conditions on the radius of this credible set, we can accelerate optimal contraction rates from the fixed-in-advanced setting to the minimax sequential rates. A simulation experiment shows that our Bayesian two-stage procedure outperforms single-stage procedure and also slightly improves upon a non-Bayesian two-stage procedure.

研究の動機と目的

• ノイズが存在する中で未知の回帰関数のモードおよび最大値を推定するためのベイジアンフレームワークの構築。
• 事前に固定されたサンプリング条件下でのモードおよび最大値の最適な事後収縮率の確立。
• 最適なサイズと高い漸近的被覆率を有するモードおよび最大値の信用区間の構築。
• 1段階目の事後分布の不確実性を活用して2段階目のサンプリングを誘導することで、収縮率を加速するベイジアン2段階手順の提案。
• 提案手法が最小最大逐次レートに達し、1段階目および非ベイジアン2段階手法と比較して優れていることを示すこと。

提案手法

• 未知の回帰関数を係数にガウス的事前分布を割り当てたテンソル積Bスプラインで表現する。
• 誤差分散σ²に連続的かつ正の事前分布を導入することで、階層ベイジアンモデルを構築し、事後推論を可能にする。
• 関数およびその1階微分のsupノルム誤差とモードおよび最大値の推定誤差を関連付けることで、事後収縮率を確立する。
• 事後分布の分位数を用いて関数およびその微分の同時信用帯を構築し、最適なサイズと高い被覆率を保証する。
• 2段階ベイジアン手順を実装：1段階目の事後分布から信用区間を取得し、2段階目のデータ収集をこの区間内に限定して推定を精緻化する。
• 1段階目の事後分布を2段階目の事後分布の事前分布として使用することで、逐次的学習を可能にし、推定の効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前に固定されたサンプリング条件下で、非パラメトリック回帰関数のモードおよび最大値を推定する際の最適な事後収縮率は何か？
• RQ2 ベイジアンフレームワーク下で、モードおよび最大値の信用区間を最適なサイズと高い漸近的被覆率を満たすように構築できるか？
• RQ3 ベイジアン2段階手順により、事前に固定されたサンプリング設定を越えて事後収縮率を加速できるか？
• RQ4 ベイジアン2段階手法は、モードおよび最大値推定における最小最大逐次レートに達するか？
• RQ5 提案されたベイジアン2段階手順の性能は、1段階目および非ベイジアン2段階手法と比較してどのように異なるか？

主な発見

• モードの事後収縮率は $ n^{-(ar{eta}-1)/(2ar{eta}+d)} $ であり、事前に固定されたサンプリング下での最小最大レートと一致する。ここで $ ar{eta} $ は滑らかさパラメータである。
• 最大値の事後収縮率は $ n^{-ar{eta}/(2ar{eta}+d)} $ であり、これも事前に固定されたサンプリング下での最小最大レートと一致する。
• モードおよび最大値の信用区間は、最適なサイズ $ ( ext{log} hinspace n / n)^{ar{eta}/(2ar{eta}+d)} $ を達成し、漸近的被覆確率が1に近づく。
• 1段階目の信用区間の半径に適切な条件が満たされれば、2段階ベイジアン手法は最小最大逐次収縮レートに達する：モードについては $ n^{-(ar{eta}-1)/(2ar{eta})} $、最大値については $ n^{-1/2} $。
• シミュレーション結果から、ベイジアン2段階手法が1段階目ベイジアン手法を上回り、非ベイジアン2段階手法に対してもわずかに精度が向上することが示された。
• 異方的ホルダー滑らかさの下でもロバストであり、最小滑らかさインデックス $ ar{eta} $ に依存するレートを達成し、$ ar{eta} > 1 + rac{1}{2}ig(1 + rac{d}{2}ig)^{1/2} $ の条件下で加速が達成される。