[論文レビュー] An MCMC-free approach to post-selective inference

Snigdha Panigrahi, Jelena Markovic+1 more|arXiv (Cornell University)|Mar 17, 2017

Machine Learning and Algorithms参考文献 20被引用数 7

ひとこと要約

本稿では、乱択凸最適化問題における事後選択的推論のためのモンテカルロ不要な手法を提案する。選択的ピボットの不確実な正規化定数を凸近似により扱い、ℝ^{|E|} 上の凸最適化問題を解くことで、有効な被覆性と高い統計的パワーを持つ信頼区間を直接計算可能にした。MCMCベースの手法に比べ、安定性とスケーラビリティに優れる。

ABSTRACT

We develop a Monte Carlo-free approach to inference post output from randomized algorithms with a convex loss and a convex penalty. The pivotal statistic based on a truncated law, called the selective pivot, usually lacks closed form expressions. Inference in these settings relies upon standard Monte Carlo sampling techniques at a reference parameter followed by an exponential tilting at the reference. Tilting can however be unstable for parameters that are far off from the reference parameter. We offer in this paper an alternative approach to construction of intervals and point estimates by proposing an approximation to the intractable selective pivot. Such an approximation solves a convex optimization problem in |E| dimensions, where |E| is the size of the active set observed from selection. We empirically show that the confidence intervals obtained by inverting the approximate pivot have valid coverage.

研究の動機と目的

• 乱択凸最適化問題におけるモデル選択後の有効な信頼区間の構築という課題に取り組む。標準的なMCMC手法は不安定で計算コストが高いため。
• 特に複雑な選択メカニズムを伴う高次元設定において、選択後の推論のためのモンテカルロサンプリングの代替としてスケーラブルな手法を開発すること。
• 選択プロセスにおけるランダム化を活用することで、非ランダム化手法に比べ区間幅を短縮し、統計的パワーを向上させること。
• マルコフ連鎖モンテカルロ法や指数型チフトの依存を避け、計算効率的かつ安定した信頼区間の構築手法を提供すること。
• 反復的サンプリングを回避するため、近似ピボットの直接反転による区間推定を可能とし、誤差伝搬を低減すること。

提案手法

• 選択的ピボットに現れる、多変量正規分布下でのアフィン領域の体積に由来する、計算不能な正規化関数 h(t) の凸近似 ĥ(t) を提案する。
• ピボタル統計量における h(t) を ĥ(t) に置き換えることで、近似選択的ピボットを構築し、グリッド G 上での数値積分により直接計算可能にする。
• 近似ピボットを反転して信頼区間を構築し、複数の設定で実証的に検証された有効な被覆性を確保する。
• 近似切断尤度を最大化することで、選択的最尤推定値（MLE）を計算する。これはMCMCサンプラーの基準としても利用可能である。
• |E| をアクティブ集合のサイズとするとき、ℝ^{|E|} 上の凸最適化問題として近似を定式化し、効率的かつ並列化可能な計算を可能にする。
• グリッドベースの数値積分を用いる：∫ exp(−(t−b)²/(2σ²)) h(t) dt ≈ ∑_{t∈G} exp(−(t−b)²/(2σ²)) ĥ(t)、これにより正規化定数を近似する。

実験結果

リサーチクエスチョン

• RQ1 計算不能な選択的ピボットの凸近似が、モンテカルロサンプリングを不要としつつ、有効な事後選択的推論を可能にするか？
• RQ2 高次元設定において、提案手法の被覆性と区間長は、MCMCベースの手法およびナーブな信頼区間と比べてどう異なるか？
• RQ3 選択プロセスにおけるランダム化と、提案されたピボット近似の組み合わせにより、非ランダム化手法に比べ高い統計的パワーが得られるか？
• RQ4 近似ピボットを用いて選択的MLEを直接計算可能か？また、MCMCベースのMLE推定と比べてどう異なるか？
• RQ5 アクティブ集合が大きな高次元推論問題において、本手法はどの程度スケーリング可能で並列化可能か？

主な発見

• 提案手法は信頼区間に対して有効な被覆性を達成し、複数のシミュレーション設定において実証的被覆率が87–91%に達し、名目の90%水準に近く、良好である。
• 近似ピボットに基づく信頼区間は、ナーブな区間（例：ガウス乱択を用いたLassoでは4.44 vs. 3.25）と同等の長さであり、高い統計的パワーを示している。
• MCMCベースの推論に比べ、特に基準値から離れたパラメータにおいて安定性に優れ、指数型チフトが失敗する状況でも優位である。
• HIV薬物耐性解析において、P174K、P115F、P74I の変異は補正後の推論では統計的有意性を失うことが判明し、選択バイアス補正の影響を示している。
• 近似切断分布からの選択的MLEは、補正なし最小二乗推定値に比べゼロに近づいており、バイアス補正の効果が表れている。
• 本手法は効率的にスケーリング可能であり、区間と ĥ(t) のグリッド全体での並列計算が可能である。これに対してMCMCは逐次的サンプリングに依存する。