[論文レビュー] On the efficiency of the de-biased Lasso

Sara van de Geer|arXiv (Cornell University)|Aug 26, 2017

Statistical Methods and Inference参考文献 16被引用数 4

ひとこと要約

本稿は、ガウス型設計およびノイズを伴う高次元線形回帰におけるデバイアス付きlasso推定量の漸近的分散を調査する。特定の条件下—特に真の係数ベクトルβ⁰のスパarsityおよび精度行列の最初の行Θ₁の非スパarsity—において、デバイアス付きlassoの漸近的分散がΘ₁,₁未満になることが示され、従来の常識である「Θ₁,₁が達成可能な最小分散である」という仮定に疑問を呈する。これは、非スパースなΘ₁が高次元においてより効率的な推定をもたらす可能性があることを示唆する。

ABSTRACT

We consider the high-dimensional linear regression model $Y = X β^0 + ε$ with Gaussian noise $ε$ and Gaussian random design $X$. We assume that $Σ:= E X^T X / n$ is non-singular and write its inverse as $Θ:= Σ^{-1}$. The parameter of interest is the first component $β_1^0$ of $β^0$. We show that in the high-dimensional case the asymptotic variance of a debiased Lasso estimator can be smaller than $Θ_{1,1}$. For some special such cases we establish asymptotic efficiency. The conditions include $β^0$ being sparse and the first column $Θ_1$ of $Θ$ being not sparse. These conditions depend on whether $Σ$ is known or not.

研究の動機と目的

• p ≫ nである高次元線形モデルにおけるデバイアス付きlasso推定量の漸近的分散を調査すること。
• デバイアス付き推定量の漸近的分散が、精度行列の(1,1)成分Θ₁,₁によって下から抑えられるという従来の仮定に疑問を呈すること。
• 精度行列の最初の行Θ₁がスパースでない場合に、デバイアス付きlassoが漸近的効率性を達成する条件を検討すること。
• 特に、正確な直交化が不可能な高次元設定において、共分散行列Σが既知か未知かにかかわらず性能を比較すること。
• 漸近的分散がΘ₁,₁未満になる例を構築することにより、Θ₁に非スパarsityがあることが推定の効率性向上に寄与することを示すこと。

提案手法

• 真の精度行列の行Θ₁を近似する方向推定量˜Θ₁ ∈ ℝᵖに基づいて、デバイアス付きlasso推定量の漸近的分布を導出する。
• Σが未知の場合にノードワイズlassoを用いてΘ₁を推定し、高次元における近似的な直交化を可能にする。
• ガウス型二次形式の確率的不等式（例：Hanson-Wright型の境界）を用いて、高次元設定における推定誤差を制御する。
• スラツキーの定理を用いて、主要な項の弱収束に基づき、デバイアス付き推定量の漸近的正規性を確立する。
• Var(β̃₁) ≈ ˜Θ₁ᵀΣ˜Θ₁という式を用いて漸近的分散を分析し、Θ₁が非スパースである場合にこの値がΘ₁,₁未満になることを示す。
• β⁰がスパースであっても、漸近的分散がΘ₁,₁未満になるような具体的な共分散行列Σの例を構築する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、デバイアス付きlasso推定量の漸近的分散がΘ₁,₁未満になることは可能か？
• RQ2 Θ₁にスパarsityがなくとも、β⁰とΘ₁にどのような条件下でデバイアス付きlassoは漸近的効率性を達成するのか？
• RQ3 Σが既知または未知の場合に、デバイアス付きlassoの性能は正確な直交化と比べてどうなるか？
• RQ4 Θ₁の非スパarsityが推定分散の低減に果たす役割は何か？ これは効率性の向上に寄与するか？
• RQ5 漸近的分散がΘ₁,₁によって示されるフィッシャー情報量の下限（Cramér-Rao下限）を厳密に下回る例を構築することは可能か？

主な発見

• β⁰がスパースで、精度行列の最初の行Θ₁が非スパースである場合、デバイアス付きlassoの漸近的分散はΘ₁,₁未満になることがある。
• Σが既知の場合、正確な直交化ではなくノードワイズlassoを用いることで、特にΘ₁が非スパースである場合に漸近的分散を低減できる。
• Σが未知の場合、高次元設定では正確な直交化は不可能であるが、ノイズを含むlassoベースのデバイアス除去により、Θ₁が非スパースであれば依然として分散低減が可能である。
• 本稿では、漸近的分散がΘ₁,₁未満になるような具体的なΣの例を構築し、このような効率性の向上が理論的奇異性ではなく実在の現象であることを示した。
• β⁰がスパースでΘ₁が非スパースである特殊な状況では、標準的な仮定（例：Θ₁のスパarsity）が満たされないにもかかわらず、漸近的効率性が達成可能である。
• この現象は本質的に高次元的である：低次元設定では観察されず、高次元統計における新たなタイプの効率性行動を示している。