[論文レビュー] A framework for posterior consistency in model selection

David Rossell|arXiv (Cornell University)|Jun 11, 2018

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿は、線形回帰におけるベイズ的モデル選択を有限標本枠組みで分析する手法を導入し、事前分布の選択と、標本サイズ、信号対雑音比、次元数、スパarsityといった問題の特性を、事後的一致性およびモデル選択の正確性と結びつける。$L_0$ペナルティと擬似事後確率の有限標本レートを確立し、漸近的最適性が、特にスパースな事前分布やモデル不適合の下で、中程度の $n$ に対してもパワーの損失を引き起こす可能性があること、したがって、漸近的挙動に依存するのではなく、データ固有の特徴に基づいて手順を評価する必要があることを示している。

ABSTRACT

We develop a framework to help understand frequentist properties of Bayesian model selection, specifically its ability to select the (Kullback-Leibler) optimal model and portray model selection uncertainty. We outline its general basis and then focus on linear regression. The contribution is not proving consistency under given prior conditions but providing finite-sample rates that describe how model selection depends on the prior and problem characteristics such as sample size, signal-to-noise, problem dimension and true sparsity. A corollary proves a strong form of convergence for $L_0$ penalties and pseudo-posterior probabilities of interest for $L_0$ uncertainty quantification. These results unify and extend current Bayesian model selection literature and signal limitations, specifically that asymptotically optimal sparse priors can significantly reduce power even for moderately large $n$ and that less sparse priors can improve power trade-offs not adequately captured by asymptotic rates. These issues are compounded by the fact that model misspecification often causes an exponential drop in power, as we briefly study here. Our examples confirm these findings, underlining the importance of considering the data at hand's characteristics to judge the quality of model selection procedures, rather than relying purely on asymptotics.

研究の動機と目的

• ベイズ的モデル選択の頻度的性質、特に事後的一致性および不確実性の定量化を理解するための有限標本フレームワークを構築すること。
• 標本サイズ、信号対雑音比、次元数、真のスパarsityといった、問題固有の特性と、事前分布がモデル選択のパフォーマンスに与える影響を調査すること。
• 漸近的一致性の結果に依存するのをやめるために、漸近的に最適な事前分布が中程度の標本サイズで顕著なパワー損失を引き起こす可能性があることを示すこと。
• 特に中程度の標本サイズにおいて、漸近的レートが示唆するよりも、スパarsityが低い事前分布がより良いパワーのトレードオフを提供できるかどうかを示すこと。
• モデル不適合がパワーに与える影響を検討し、パフォーマンスが指数関数的に低下することを明らかにすること。

提案手法

• 本フレームワークは、主要な問題的特性に依存する有限標本レートを導出することで、ベイズ的モデル選択における事後的一致性を分析する。
• 線形回帰に焦点を当て、不確実性の定量化のための $L_0$ ペナルティと擬似事後確率を検討する。
• 本手法は、$L_0$ ベースの事後確率に対する強い収束形を確立し、その挙動が事前分布のハイパーパrameterとデータ構造と結びつくことを示す。
• 特にスパースな事前分布とそれよりスパarsityの低い事前分布のクラス間で、有限標本条件の下でのパフォーマンスを比較する。
• モデル選択の正確性を評価するにあたり、信号対雑音比、次元数、真のスパarsityを主要な共変量として組み込む。
• 理論的導出と具体的な例を用いて、漸近的一致性が有限標本のモデル選択を指導致す際に限界を示す。

実験結果

リサーチクエスチョン

• RQ1 事前分布および標本サイズやスパarsityといった問題的特性が、ベイズ的モデル選択の有限標本性能にどのように影響を与えるか。
• RQ2 漸近的に最適なスパース事前分布が、中程度の標本サイズでどれほどパワーを損なうか、その理由は何か。
• RQ3 スパarsityが低い事前分布が、漸近的レートが示唆するよりも良いパワーのトレードオフを提供できるか、またその条件は何か。
• RQ4 モデル不適合が、ベイズ的モデル選択手順のパワーにどのように影響を与えるか。
• RQ5 線形回帰における $L_0$ ペナルティ付き事後確率および擬似事後確率の収束を支配する有限標本レートは何か。

主な発見

• ベイズ的モデル選択における事後的一致性の有限標本レートは、標本サイズ、信号対雑音比、次元数、真のスパarsityに強く依存する。
• 漸近的に最適なスパース事前分布ですら、中程度の標本サイズに対しても顕著なパワー損失を引き起こす可能性があり、実用的有用性を損なう。
• スパarsityの低い事前分布は、漸近理論が予測するよりも、しばしばより良いパワーのトレードオフを提供する。特に有限標本では顕著である。
• モデル不適合はパワーに指数関数的な低下を引き起こし、これは漸近的一致性の結果では十分に捉えられていない。
• $L_0$ ペナルティと擬似事後確率確率に対する強い収束形が証明され、既存のベイズ的モデル選択理論を統合的かつ拡張的に統合した。
• 本研究は、モデル選択の質を評価するにあたり、漸近的性質にのみ依存するのではなく、データ固有の特性を直接評価する必要があることを示した。