[論文レビュー] More powerful post-selection inference, with application to the Lasso

Keli Liu, Jelena Markovic+1 more|arXiv (Cornell University)|Jan 27, 2018

Statistical Methods and Inference参考文献 6被引用数 35

ひとこと要約

本稿では、lassoにおける後選択的推論のための新しい手法を提案する。この手法は、有限標本における正確な被覆を維持しながら信頼区間の幅を短縮するために、条件付き確率を最小限に抑えることを目的としている。安定化された切り捨てZ（TZ）手法を導入し、TZ_M や TZ_Ms と比較して、特にモデルの破綻や分散の未知性がある状況でも顕著に短い信頼区間を実現する。

ABSTRACT

Investigators often use the data to generate interesting hypotheses and then perform inference for the generated hypotheses. P-values and confidence intervals must account for this explorative data analysis. A fruitful method for doing so is to condition any inferences on the components of the data used to generate the hypotheses, thus preventing information in those components from being used again. Some currently popular methods "over-condition", leading to wide intervals. We show how to perform the minimal conditioning in a computationally tractable way. In high dimensions, even this minimal conditioning can lead to intervals that are too wide to be useful, suggesting that up to now the cost of hypothesis generation has been underestimated. We show how to generate hypotheses in a strategic manner that sharply reduces the cost of data exploration and results in useful confidence intervals. Our discussion focuses on the problem of post-selection inference after fitting a lasso regression model, but we also outline its extension to a much more general setting.

研究の動機と目的

• データ駆動型変数選択のため、従来の手法が失敗する高次元回帰における後選択的推論の問題に対処すること。
• TZ_M や TZ_Ms のような既存の後選択手法に内在する過剰な条件付き確率の問題を克服し、あまりに広い信頼区間を回避すること。
• 有限標本の妥当性を維持しながら、条件付き確率を最小限に抑える計算的に実行可能な手法を開発すること。
• 被覆を犠牲にせずに区間幅を短縮することで推論のパワーを向上させること。特に、モデルの破綻や分散の未知性がある状況でも有効であるようにすること。
• lassoにとどまらず、高次元統計における一般の後選択的推論問題へとフレームワークを拡張すること。

提案手法

• TZ_M や TZ_Ms に内在する過剰な条件付き確率を回避する最小限の条件付き確率アプローチを提案する。
• 2つの新しい切り捨てZ（TZ）手法、TZ_stab-t および TZ_stab-ℓ₁ を導入し、モデルの不確実性下での検定統計量の分布を安定化する。
• 推論に切り捨て正規分布を用いるが、選択に使用されたデータの必要な要素にのみ条件付き確率を集中させるように条件付き確率を変更する。
• 分散やチューニングパラメータの推定誤差に対する感度を低減するため、検定統計量に安定化変換を適用する。
• 不要な補助統計量への条件付き確率を避けることで、アクティブ集合と選択イベントにのみ条件付き確率を施すことにより、有限標本における正確な被覆を保証する。
• CDFの逆数値計算における数値的不安定性が原因で無限大の区間長を生じるのを避けるために、数値的逆算技術を実装する。

実験結果

リサーチクエスチョン

• RQ1 有限標本における正確な被覆を損なわずに、高次元回帰における後選択的信頼区間の幅をどのように短縮できるか？
• RQ2 TZ_M や TZ_Ms のような既存の後選択手法における過剰な条件付き確率は、区間幅と統計的パワーにどのような影響を与えるか？
• RQ3 重い尾や歪度のある誤差がある状況でも、正確な被覆を維持しながら、モデルの破綻に強い手法を開発できるか？
• RQ4 分散が未知である場合、またはチューニングパラメータが交差検証によって推定される場合、新しい安定化された切り捨てZ手法の性能は、既存の手法と比べてどの程度優れているか？
• RQ5 戦略的な仮説生成は、高次元設定におけるデータ探索のコストをどの程度低減できるか？

主な発見

• 提案された安定化された切り捨てZ手法（TZ_stab-t および TZ_stab-ℓ₁）は、TZ_M や TZ_Ms と比較して、特にモデルの破綻がある状況で顕著に短い信頼区間を生成する。
• t₃分布（重い尾）やスケュー・ノーマル分布（歪度あり）の誤差がある状況でも、安定化手法は実効被覆率が名目水準の90％に近く保たれる一方、TZ_M や TZ_Ms は区間長が著しく増加する。
• 誤差分散σ²が未知でプラグイン推定が行われる状況では、TZ_M や TZ_Ms の区間長は顕著に増加するが、安定化手法は相対的に安定性を保つ。
• λが固定チューニングパラメータではなく10分割交差検証によって選択される場合、TZ_M や TZ_Ms の区間長は著しく増加するが、安定化手法は影響をほとんど受けることがない。
• CDF逆算における数値的不安定性が原因で無限大の区間長が生じる割合が、安定化手法によって減少し、実用的利便性が向上する。
• n=100、p=250、非ゼロ係数が0.29のシミュレーションにおいて、TZ_stab-tの中央値区間長はTZ_Mよりも顕著に短く、すべてのシナリオで被覆率が0.9に近い水準を維持した。