[論文レビュー] Bayesian Post-Selection Inference in the Linear Model

Snigdha Panigrahi, Jonathan Taylor+1 more|arXiv (Cornell University)|May 28, 2016

Statistical Methods and Bayesian Inference参考文献 6被引用数 9

ひとこと要約

本稿では、線形モデルにおけるモデル選択後の推論を正当化するためのベイズ枠組みを提案する。選択の影響を反映するため、尤度関数を切断した形にし、その計算を可能にするために凸近似を用いる。このアプローチにより、仮説検定にとどまらず、点推定などの多様な推論が可能となり、正確な選択後推論に近く、計算の面でも実行可能である。

ABSTRACT

We provide Bayesian inference for a linear model selected after observing the data. Adopting \citet{yekutieli2012adjusted}'s ideas, the Bayesian model consists of a prior and a truncated likelihood. The resulting posterior distribution, unlike in the setup usually considered when performing Bayesian variable selection, is affected by the very fact that selection was applied. After proposing an extension of \citeauthor{yekutieli2012adjusted}'s framework to the case of variable selection, we turn to face the computational challenges associated with the adjusted posterior distribution. A major objection is the intractability of the truncated likelihood. At the core of our methods is a convex approximation to the truncated likelihood, which facilitates sampling from the (approximate) adjusted posterior distribution. We demonstrate in simulations that employing the proposed approximation results in Bayesian procedures that are qualitatively similar to those using the exact truncated likelihood. Our methods are discussed in the context of recent literature on exact post-selection inference after model selection. These recent works focus on hypothesis testing, and capitalize on reductions achieved by conditioning out nuisance parameters. However, the techniques developed in that venue are generally less appropriate for addressing other questions, like point estimation. On the other hand, relying on an approximation to the full truncated likelihood, the tools we develop allow for more versatility. For example, replacing the genuine truncated likelihood by its approximation, we can approximate the maximum-likelihood estimate as the MAP estimate corresponding to a constant prior. We provide more examples in which our approximation can be employed to address frequentist questions that have not been resolved in existing work on exact post-selection inference.

研究の動機と目的

• データに基づいてモデルが選択された場合の有効なベイズ的推論を実現する挑戦に応えること。従来の手法では選択に起因するバイアスのため失敗する。
• YekutieliとBenjamini（2012）の調整尤度枠組みをベイズ的設定に拡張し、事後分布に選択効果を組み込むこと。
• 選択後ベイズ推論における切断尤度の計算不能性を、凸近似法により克服すること。
• 既存の正確な推論手法が主に仮説検定に限られるのに対し、点推定や頻度主義と整合する手続きを含む、より広範な応用を可能にすること。

提案手法

• 本稿では、モデル選択が行われたという事実を反映するため、事前分布と切断尤度関数を組み合わせたベイズモデルを構築する。これにより、事後分布が選択バイアスを適切に反映する。
• 計算不能な切断尤度関数に対して、凸近似を導入し、近似調整事後分布からの効率的なサンプリングを可能にする。
• この近似により、一様事前分布下で最尤推定量がMAP推定量として回復され、ベイズ的および頻度主義的推論を結びつける。
• 正確な切断尤度関数に代えて凸近似を用いることで、推定や信頼区間構築などの柔軟な推論タスクが可能になる。
• 近似事後分布からのサンプリングはMCMCやその他のモンテカルロ法を用い、近似のおかげで計算の実行可能性が保証される。
• シミュレーションにより、正確な切断尤度法と定性的に類似した結果が得られ、実用的有効性が確認された。

実験結果

リサーチクエスチョン

• RQ1 データに基づいてモデルが選択された場合、どのようにしてベイズ的推論を適切に補正できるか？
• RQ2 切断尤度関数の凸近似は、線形モデルにおける計算可能で統計的に妥当な選択後推論を可能にするか？
• RQ3 提案された近似は、特に点推定において、正確な選択後推論の性質をどの程度保持するか？
• RQ4 開発されたベイズ枠組みは、仮説検定にとどまらず、推定や信頼区間構築といった推論タスクをサポートできるか？
• RQ5 有限標本において、近似事後分布は正確な切断事後分布と比べてどの程度の性能を示すか？

主な発見

• 切断尤度関数の凸近似により、調整事後分布からの効率的なサンプリングが可能となり、ベイズ的選択後推論が計算的に実行可能になる。
• シミュレーションの結果、近似事後分布は正確な切断尤度法と定性的に類似した結果をもたらす。
• この手法により、最尤推定量が定数事前分布下でのMAP推定量として解釈可能となり、ベイズ的および頻度主義的推論を統合する。
• 既存の正確な選択後推論手法が主に仮説検定に限られるのに対し、本フレームワークはより広範な推論タスクをサポートする。
• 本手法は、点推定や信頼区間構築といった、現在の正確な推論フレームワークでは依然として困難な問題に応用可能な包括的ツールを提供する。