[論文レビュー] In Defense of the Indefensible: A Very Naive Approach to High-Dimensional Inference

Sen Zhao, Daniela Witten+1 more|arXiv (Cornell University)|May 16, 2017

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿は、高次元線形モデルにおける単純な二段階的手順——lasso選択 followed で最小二乗推定——を提案する。正則性条件の下で、lassoは高確率でノイズのないlassoと同一の変数を選択するため、標準的な最小二乗ツールを用いて漸近的に有効な信頼区間とp値が得られ、高次元における「素朴な」推論手順の妥当性が裏付けられる。

ABSTRACT

A great deal of interest has recently focused on conducting inference on the parameters in a high-dimensional linear model. In this paper, we consider a simple and very na\\"{i}ve two-step procedure for this task, in which we (i) fit a lasso model in order to obtain a subset of the variables, and (ii) fit a least squares model on the lasso-selected set. Conventional statistical wisdom tells us that we cannot make use of the standard statistical inference tools for the resulting least squares model (such as confidence intervals and $p$-values), since we peeked at the data twice: once in running the lasso, and again in fitting the least squares model. However, in this paper, we show that under a certain set of assumptions, with high probability, the set of variables selected by the lasso is identical to the one selected by the noiseless lasso and is hence deterministic. Consequently, the na\\"{i}ve two-step approach can yield asymptotically valid inference. We utilize this finding to develop the \\emph{na\\"ive confidence interval}, which can be used to draw inference on the regression coefficients of the model selected by the lasso, as well as the \\emph{na\\"ive score test}, which can be used to test the hypotheses regarding the full-model regression coefficients.

研究の動機と目的

• p > n の高次元線形モデルにおける有効な統計的推論の課題に取り組む。
• 選択後推論が標準的な信頼区間やp値を無効にするという従来の障壁を克服する。
• 特定の条件下で、lasso選択が決定的であり、ノイズのないlassoと同等であることを示す。
• 通常最小二乗法を用いたlassoで選択されたモデルに基づく理論的裏付けのある単純な推論手順を開発する。
• lasso選択後の選択係数の信頼区間の構築およびスコア検定のためのフレームワークを提供する。

提案手法

• 高次元データ（p > n）から変数のサブセットをlassoを用いて選択する。
• 選択された変数上で通常最小二乗法（OLS）モデルをフィットさせ、選択を固定されたものとみなす。
• 正則性条件（例：サブガウス型誤差、スパarsity、非表現不可能性）の下で、lassoで選択された集合が高確率でノイズのないlassoの集合と一致することを証明する。
• この決定的選択を根拠に、選択モデル上のOLS推定量の漸近的正規性を裏付ける。
• 選択モデル上のOLS推論に基づく「素朴な信頼区間」と「素朴なスコア検定」を導出する。
• リンデバーグの条件と収束の議論を用いて、帰無仮説の下で信頼区間およびp値の漸近的有効性を確立する。

実験結果

リサーチクエスチョン

• RQ1 単純な二段階手順——lasso選択 followed でOLS推論——が高次元モデルにおいて有効な信頼区間とp値をもたらすか？
• RQ2 lasso選択がノイズのないlasso選択と同等であり、選択モデルが決定的となる条件は何か？
• RQ3 二重にデータを使用しているにもかかわらず、lassoで選択されたモデルに対する素朴なOLS推論は、漸近的に有効のままであるか？
• RQ4 得られた信頼区間およびスコア検定は、帰無仮説の下で漸近的に標準正規分布に従い、有効であるか？
• RQ5 より複雑なデバイアス付きlassoや選択後推論手法と比較して、提案手法は単純さと有効性の面でどのように異なるか？

主な発見

• 正則性条件の下で、lassoで選択されたモデルは高確率でノイズのないlassoモデルと同等であり、選択が決定的である。
• 素朴な二段階手順——lasso選択 followed でOLS推論——により、選択係数の漸近的に有効な信頼区間が得られる。
• 選択モデル上の素朴なスコア検定は、帰無仮説の下で漸近的に標準正規分布に従い、有効なp値が得られる。
• テスト統計量の漸近的正規性は、リンデバーグの条件を用いて確立され、スパarsityと誤差のサブガウス型性に依存する。
• 従来のデバイアス付きlasso手法とは異なり、複雑なデバイアス補正ステップを必要とせず、漸近的有効性を達成する。
• 理論的結果により、誤ったモデル選択の確率が0に収束することが示され、推論フレームワークの有効性が支持される。