[論文レビュー] MAGIC: a general, powerful and tractable method for selective inference

Xiaoying Tian, Nan Bi+1 more|arXiv (Cornell University)|Jul 9, 2016

Statistical Methods and Inference参考文献 18被引用数 13

ひとこと要約

MAGIC は滑らかな損失関数と ℓ₁ ペナルティを伴う凸最適化問題の後での選択的推論のための一般的で強力かつ取り扱いやすい手法である。ランダム化を組み込み、制約を標準的なサンプリング空間に再パrameter化することで、MAGIC は有効な推論のための効率的なマルコフ連鎖モンテカルロ（MCMC）サンプリングを可能にし、従来の手法に比べて統計的検出力が著しく向上する一方で、lasso、ロジスティックlasso、およびグラフィカルモデルにおいても計算の取り扱いやすさを維持する。

ABSTRACT

Selective inference is a recent research topic that tries to perform valid inference after using the data to select a reasonable statistical model. We propose MAGIC, a new method for selective inference that is general, powerful and tractable. MAGIC is a method for selective inference after solving a convex optimization problem with smooth loss and $\ell_1$ penalty. Randomization is incorporated into the optimization problem to boost statistical power. Through reparametrization, MAGIC reduces the problem into a sampling problem with simple constraints. MAGIC applies to many $\ell_1$ penalized optimization problem including the Lasso, logistic Lasso and neighborhood selection in graphical models, all of which we consider in this paper.

研究の動機と目的

• データに依存するモデル選択の後での有効な統計的推論の課題に取り組むこと。特に高次元設定において。
• lasso などの特定のケースにとどまらず、広範な ℓ₁ ペナルティ付き最適化問題に適用可能な一般化された手法を開発すること。
• 最適化プロセスにランダム化を導入することで、選択的推論における統計的検出力を向上させること。
• 複雑な制約集合を単純化された標準的なサンプリング空間に変換することで、計算の取り扱いやすさを向上させること。
• モデル選択後の選択された変数に対する有効な信頼区間と p 値の構築を可能にすること。

提案手法

• MAGIC は目的関数にランダムベクトル ωᵀβ を追加することで、ランダム化された凸最適化問題を導入し、統計的検出力を向上させる。
• 選択的推論問題を、標準的制約集合上のサンプリング問題に再パラメータ化することで、境界の繰り返し計算を回避する。
• Gibbs サンプラーを用いて、データ S、推定係数 β̂、および部分勾配 ẑ を同時にサンプリングする。S と β̂ についてはメトロポリス・ハスティングス手順を、ẑ については切断された G 分布を用いる。
• lasso の場合、活性集合に条件づけて応答変数 y をサンプリングし、活性集合を維持する提案分布と回転に基づく y のステップを用いる。
• ネイバー選択の場合は、データの各列を1つずつサンプリングし、ノルムとペアワイズ内積に条件づけ、球面サンプリングを用いて制約を維持する。
• 変数変換の公式を用いた理論的裏付けが提供され、選択的分布の正確な密度が得られ、ランダム化フレームワーク下での有効な推論が保証される。

実験結果

リサーチクエスチョン

• RQ1 滑らかな損失関数と指数型分布族に適用可能な、一般化された選択的推論の手法を開発することは可能か？
• RQ2 最適化問題におけるランダム化が、選択的推論における統計的検出力にどのように寄与するか？
• RQ3 再パラメータ化によって、複雑な制約集合からのサンプリングの計算負荷を軽減できるか？
• RQ4 選択された変数のパワーと信頼区間のカバレッジの観点で、MAGIC は既存の手法をどの程度上回るか？
• RQ5 MAGIC は lasso、ロジスティックlasso、およびガウスグラフィカルモデルなどの多様な問題に効果的に適用可能か？

主な発見

• MAGIC は [6] や [13] などの従来手法に比べ、特にシミュレーションスタディにおいて顕著に高い統計的検出力を達成する。
• この手法は、lasso、ロジスティックlasso、およびガウスグラフィカルモデルにおけるネイバー選択を含む、広範な ℓ₁ ペナルティ付きモデルに対して有効な推論を可能にする。
• 制約集合を標準形に再パラメータ化することで、MCMC ステップごとに境界を再計算する必要がなくなり、計算の効率性が著しく向上する。
• 理論的結果として、変数変換の公式を用いて選択的分布の正確な密度が導出され、ランダム化フレームワーク下での有効な推論が保証される。
• メトロポリス・ハスティングスと切断されたサンプリングステップを組み合わせたギブス・サンプラーは、制約付き後方分布を効果的に探索でき、正確な p 値と信頼区間の算出を可能にする。
• MAGIC は、FDRに基づく手法に欠けている選択された変数のための信頼区間の構築をサポートする。