[論文レビュー] Asymptotics of selective inference

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|Jan 15, 2015

Statistical Methods and Inference参考文献 11被引用数 5

ひとこと要約

この論文は、従来の正確な手法を高次元設定に拡張することで、非ガウス型誤差分布下でも選択的仮説検定手順の漸近的妥当性を確立している。弱い正則性条件の下で、アフィン選択手順（例：LASSOパス推定）からのp値が、一様分布(0,1)に収束することを証明しており、ガウス性の仮定なしに漸近的に妥当な推論が可能である。

ABSTRACT

In this paper, we seek to establish asymptotic results for selective inference procedures removing the assumption of Gaussianity. The class of selection procedures we consider are determined by affine inequalities, which we refer to as affine selection procedures. Examples of affine selection procedures include post-selection inference along the solution path of the LASSO, as well as post-selection inference after fitting the LASSO at a fixed value of the regularization parameter. We also consider some tests in penalized generalized linear models. Our method of proof adapts a method of Chatterjee (2005).

研究の動機と目的

• 従来の正確な手法の適用範囲を制限するガウス誤差仮定を排除すること。
• n < p の高次元設定において、アフィン選択手順のp値の漸近的妥当性を確立すること。
• 既存の選択的仮説検定フレームワークを非ガウス型誤差分布および正則化モデルに一般化すること。
• 正規性を仮定しないLASSOパス選択やGLMにおける共分散検定からのp値の使用に理論的裏付けを与えること。
• 標本サイズnがpの対数的成長を示す場合（例：n ~ log p）であっても、高次元回帰における漸近的妥当な推論を可能にすること。

提案手法

• 線形不等式で定義されるアフィン選択手順（例：LASSOにおけるアクティブセット選択）に焦点を当てる。
• Chatterjee (2005) の方法を応用し、検定統計量の漸近的分布収束を証明する。
• 元のp値関数Pの滑らか化近似$\widetilde{P}_\delta$を用いて近似誤差を制御する。
• 濃度不等式とモーメントバウンドを適用し、帰無仮説下でのPの関数的期待値の収束を示す。
• P(y) \xrightarrow{d} \mathrm{Unif}(0,1) が標本サイズが増加する際に成り立つ条件を導出する。
• \|\widetilde{P}_\delta - P\|_\infty のバウンドと選択区間の裾確率を用いて収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 ガウス誤差を仮定しない場合、帰無仮説下で選択的仮説検定からのp値が一様分布に収束する条件は何か？
• RQ2 n < p の高次元設定において、選択的仮説検定の漸近的妥当性は確立可能か？
• RQ3 LASSOパス選択や固定λ選択からのp値の漸近的挙動は、誤差分布にどのように依存するか？
• RQ4 正則化一般化線形モデルにおけるピボットの収束に必要な十分条件は何か？
• RQ5 固定λGLM選択のような非アフィン選択手順に対しても、このフレームワークを拡張可能か？

主な発見

• 誤差が非ガウス型であっても、弱い正則性条件の下で、選択的仮説検定からのp値$P_j(y)$は帰無仮説下で$\mathrm{Unif}(0,1)$に分布収束する。
• nがpの対数的オーダー（例：n \sim \log p）であっても、LASSOベースの手順において漸近的妥当性が保たれる。
• 本手法はLASSO解パス推定および正則化パラメータ$\lambda$を固定した後の推定の両方に適用可能である。
• 非ガウス誤差下でも、一般化線形モデルにおける共分散検定推論が本フレームワークでサポートされる。
• 滑らか化近似$\widetilde{P}_\delta$と近似誤差・尾確率のバウンドを用いて収束が確立される。
• 濃度不等式とモーメントバウンドを用いた理論的保証が得られ、収束速度は$\delta$、$n$、およびモデルの複雑さに依存する。