[論文レビュー] De-Biasing The Lasso With Degrees-of-Freedom Adjustment

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|Feb 24, 2019

Statistical Methods and Inference参考文献 39被引用数 19

ひとこと要約

本稿では、高次元線形回帰におけるlassoのための自由度調整付きバイアス除去手法を提案し、係数ベクトルの低次元射影における妥当な統計的推論を可能にする。lassoが選択するモデルの複雑さを調整することにより、すべてのスパースネス領域で名目的カバレッジと漸近的効率性を達成し、従来のバイアス除去手法がカバレッジ不足に陥る領域でも有効である。

ABSTRACT

This paper studies schemes to de-bias the Lasso in a linear model $y=Xβ+ε$ where the goal is to construct confidence intervals for $a_0^Tβ$ in a direction $a_0$, where $X$ has iid $N(0,Σ)$ rows. We show that previously analyzed propositions to de-bias the Lasso require a modification in order to enjoy efficiency in a full range of sparsity. This modification takes the form of a degrees-of-freedom adjustment that accounts for the dimension of the model selected by Lasso. Let $s_0$ be the true sparsity. If $Σ$ is known and the ideal score vector proportional to $XΣ^{-1}a_0$ is used, the unadjusted de-biasing schemes proposed previously enjoy efficiency if $s_0\lll n^{2/3}$. However, if $s_0\ggg n^{2/3}$, the unadjusted schemes cannot be efficient in certain $a_0$: then it is necessary to modify existing procedures by a degrees-of-freedom adjustment. This modification grants asymptotic efficiency for any $a_0$ when $s_0/p o 0$ and $s_0\log(p/s_0)/n o 0$. If $Σ$ is unknown, efficiency is granted for general $a_0$ when $$\frac{s_0\log p}{n}+\min\Big\{\frac{s_Ω\log p}{n},\frac{\|Σ^{-1}a_0\|_1\sqrt{\log p}}{\|Σ^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_Ω,s_0)\log p}{\sqrt n} o0$$ where $s_Ω=\|Σ^{-1}a_0\|_0$, provided that the de-biased estimate is modified with the degrees-of-freedom adjustment. The dependence in $s_0,s_Ω$ and $\|Σ^{-1}a_0\|_1$ is optimal. Our estimated score vector provides a novel methodology to handle dense $a_0$. Our analysis shows that the degrees-of-freedom adjustment is not needed when the initial bias in direction $a_0$ is small, which is granted under stringent conditions on $Σ^{-1}$. The main proof argument is an interpolation path similar to that typically used to derive Slepian's lemma. It yields a new $\ell_\infty$ error bound for the Lasso which is of independent interest.

研究の動機と目的

• 高次元設定下でスパースネスが高い場合に、既存のlassoバイアス除去手法が失敗することを解消すること。
• 非ゼロ係数の数 $ s_0 $ が $ n^{2/3} $ を超える場合でも、名目的カバレッジと漸近的効率性を維持するバイアス除去手順を開発すること。
• lassoが確率的に選択するモデルの次元を理論的に根拠のある調整で補正し、推論の妥当性を向上させること。
• 高次元モデルにおける効率的推論に必要なサンプルサイズの既知の上限と下限の差を埋めること。
• 密度の高い方向 $ \boldsymbol{a}_0 $ を効果的に扱える新しい推定スコアベクトルを構築すること。

提案手法

• lasso解における非ゼロ係数の数を反映する自由度調整 $ \nu $ をバイアス除去推定量に導入する。
• 推定スコアベクトルに基づく1ステップ補正を用い、選択されたモデルの有効自由度を補正することで、方向 $ \boldsymbol{a}_0 $ におけるlasso推定量のバイアスを除去する。
• lassoの鋭い $ \ell_\infty $ バイアスバウンドを主要な技術的ツールとして独立に導出し、漸近展開における剰余項を制御する。
• 条件付きガウス近似と濃度不等式を用いて、バイアス除去推定量の漸近分布における剰余項をバウンドする。
• lassoパスが良好に振る舞い、設計行列が正則性条件を満たすようなモデル選択事象 $ \Omega_1 \cap \Omega_2 $ の共同制御を確立する。
• $ \|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2 = 1 $ を満たすスケール不変変換を用い、一般性を失わず漸近的解析を単純化する。

実験結果

リサーチクエスチョン

• RQ1 真のスパースネス $ s_0 $ が $ n $ に対して大きく、$ \boldsymbol{\Sigma} $ が既知であっても、標準的なlassoバイアス除去スキームは名目的カバレッジを達成できるか？
• RQ2 自由度調整により、高スパースネス領域でも名目的カバレッジと漸近的効率性が回復可能か？
• RQ3 高次元線形モデルにおける効率的推論のための最適な $ s_0 $、$ s_\Omega = \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_0 $、および $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ への依存関係は何か？
• RQ4 密度の高い方向 $ \boldsymbol{a}_0 $（$ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ が大きい）を扱えるように、バイアス除去手順をどのように拡張できるか？
• RQ5 lassoの鋭い $ \ell_\infty $ バイアスバウンドとは何か？ そして、それがバイアス除去フレームワークにどのように寄与するか？

主な発見

• $ s_0 \ggg n^{2/3} $ の場合、$ \boldsymbol{\Sigma} $ が既知であっても、調整なしのバイアス除去スキームは名目的カバレッジを達成できない。
• 提案された自由度調整により、高スパースネス領域を含め、すべてのスパースネス領域で名目的カバレッジと漸近的効率性が回復される。
• 次の条件が満たされると、効率性が達成される：$ \frac{s_0\log p}{n} + \min\left\{\frac{s_\Omega\log p}{n}, \frac{\|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1\sqrt{\log p}}{\|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2\sqrt{n}}\right\} + \frac{\min(s_\Omega, s_0)\log p}{\sqrt{n}} \to 0 $。
• $ s_0 $、$ s_\Omega $、$ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ への依存関係は最適であり、従来の上限と下限の差を埋める。
• 推定スコアベクトルの構築により、従来は取り扱いにくかった密度の高い方向 $ \boldsymbol{a}_0 $ に対しても妥当な推論が可能になる。
• 本稿では、独立に価値のあるlassoの鋭い $ \ell_\infty $ バイアスバウンドを導出し、主な理論的結果の基盤としている。