[論文レビュー] Adaptive Bayesian Estimation via Block Prior

Chao Gao, Harrison H. Zhou|arXiv (Cornell University)|Dec 13, 2013

Blind Source Separation Techniques参考文献 2被引用数 5

ひとこと要約

本稿は、滑らかさや標本サイズの知識を必要とせず、真の信号の有効次元に自動的に集中するブロック事前分布を導入する。この手法は、密度推定やガウス回帰を含む複数の非パラメトリックモデルにおいて、レート最適な事後分布収縮を達成する。

ABSTRACT

A novel block prior is proposed for adaptive Bayesian estimation. The prior does not depend on the smoothness of the function and the sample size. It puts sufficient prior mass near the true signal and automatically concentrates on its effective dimension. A rate-optimal posterior contraction is obtained in a general framework, which includes density estimation, white noise model, Gaussian sequence model, Gaussian regression and spectral density estimation.

研究の動機と目的

• 未知の滑らかさや標本サイズに適応する事前分布を構築すること。
• 高次元関数空間における真の信号の周辺に十分な事前確率質量が集中することを保証すること。
• 密度推定、白色ノイズ、ガウス系列、回帰、スペクトル密度推定などの複数の統計モデルを含む一般的な枠組みにおいて、最適な事後分布収縮レートを達成すること。
• 事後推論における滑らかさや標本サイズに依存する調整パラメータの必要性を排除すること。

提案手法

• 信号構造に基づいてパrameter空間をブロックに分割する新しいブロック事前分布を提案する。
• 真の信号の有効次元に対応するブロックに、事前分布が適応的に質量を割り当てるように設計する。
• 関連する関数成分におけるスパarsityを促進する階層的事前分布構造を採用する。
• 複数のモデルにおいて事後分布が最小最大レートに収束する理論的条件を確立する。
• 密度推定、白色ノイズ、ガウス系列、回帰、スペクトル密度推定の範囲にわたり、この枠組みを適用する。
• 濃縮性の性質を通じて、事前分布が未知の滑らかさや標本サイズに自動的に適応することを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかさや標本サイズの明示的調整なしに、未知の滑らかさと標本サイズに適応する事前分布を構築できるか？
• RQ2 ブロック事前分布は非パラメトリックモデルにおいてレート最適な事後分布収縮を達成するか？
• RQ3 この事前分布は、真の信号の有効次元にどのように集中するか？
• RQ4 この枠組みは、密度推定や回帰のような多様なモデルに一貫して適用可能か？
• RQ5 滑らかさを仮定しない条件下で、事後分布の集中を保証する理論的保証は何か？

主な発見

• ブロック事前分布は、一般非パラメトリック枠組みにおいてレート最適な事後分布収縮を達成する。
• 滑らかさの知識を必要とせず、真の信号の有効次元に自動的に集中する。
• すべての検討されたモデルにおいて、事後分布収縮レートが最小最大最適レートに一致する。
• 標本サイズや滑らかさパラメータに依存する調整を必要としない。
• 密度推定、白色ノイズ、ガウス系列、回帰、スペクトル密度推定にわたり、枠組みが一貫して適用可能である。
• 理論的分析により、一般条件下で真の信号の周辺に十分な事前確率質量が配置されることを確認した。