[論文レビュー] Estimating the Lasso's Effective Noise

Johannes Lederer, Michael Vogt|arXiv (Cornell University)|Apr 24, 2020

Statistical Methods and Inference参考文献 27被引用数 5

ひとこと要約

本稿では、lassoの有効ノイズの分位数を、$2\|\mathbf{X}^\top\varepsilon\|_\infty/n$ として定義する、完全にデータ駆動型のブートストラップ推定量を提案する。この推定量により、ノイズ分布の事前知識やチューニングパrameterの必要なしに、有限標本におけるチューニングパrameterのキャリブレーションと高次元推論が可能となる。本手法は、弱い正則性条件の下で一貫性を示し、有限標本における有効な保証を達成する。

ABSTRACT

Much of the theory for the lasso in the linear model $Y = X β^* + \varepsilon$ hinges on the quantity $2 \| X^ op \varepsilon \|_{\infty} / n$, which we call the lasso's effective noise. Among other things, the effective noise plays an important role in finite-sample bounds for the lasso, the calibration of the lasso's tuning parameter, and inference on the parameter vector $β^*$. In this paper, we develop a bootstrap-based estimator of the quantiles of the effective noise. The estimator is fully data-driven, that is, does not require any additional tuning parameters. We equip our estimator with finite-sample guarantees and apply it to tuning parameter calibration for the lasso and to high-dimensional inference on the parameter vector $β^*$.

研究の動機と目的

• lassoの有効ノイズの分位数 $2\|\mathbf{X}^\top\varepsilon\|_\infty/n$ のデータ駆動型推定量を開発すること。これは有限標本の境界と推論に不可欠である。
• 推定誤差を高い確率で制御するチューニングパrameter $\lambda_\alpha^*$ の臨界閾値を推定することで、lassoの実用的チューニングパrameterキャリブレーションを可能とすること。
• 帰無仮説 $H_0: \beta^* = 0$ の検定など、高次元推論を支援するため、有効ノイズの帰無分布分位数を推定すること。
• ノイズ分布の知識や初期チューニングパrameterの推定値を必要とする従来手法の制限を克服すること。
• 設計行列とノイズの弱い依存性およびモーメント条件の下で、ブートストラップに基づく推定量の有限標本保証を確立すること。

提案手法

• 本手法は、元のデータの依存構造を保つように、非パラメトリックブートストラップを用いて再サンプルされた設計行列 $\mathbf{X}_B$ と応答ベクトル $\mathbf{Y}_B$ を生成する。
• 各ブートストラップ標本に対して、有効ノイズを $T_B = 2\|\mathbf{X}_B^\top \mathbf{Y}_B\|_\infty / n$ として計算し、帰無仮説下での真の有効ノイズの代理として用いる。
• ブートストラップ統計量 $T_B$ の経験的分位数 $\hat{\gamma}_{\alpha,B}$ を、真の有効ノイズの $\alpha$-分位数 $\lambda_\alpha^*$ の推定量として用いる。
• ブートストラップ誤差の高確率バウンドを用いて、ブートストラップ分位数と真の分位数の乖離を制御することで、有限標本保証を確立する。
• ブートストラップノイズと設計行列の間の依存性を扱うために、射影に基づくモデルを導入し、高確率事象に条件づける。
• 集中不等式とシンメトリゼーション技術を用いて理論的結果を導出し、標本サイズに関して多項式的に減少する偏差確率の明示的バウンドを提示する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分布の事前知識やチューニングパrameterの必要なしに、lassoの有効ノイズ分位数の完全にデータ駆動型の推定量を構築できるか？
• RQ2 有効ノイズ分位数のブートストラップ推定量は、高次元回帰におけるチューニングパrameterキャリブレーションに対して、有効な有限標本保証を提供するか？
• RQ3 提案された推定量を用いて、高次元モデルにおける $H_0: \beta^* = 0$ の検定を有効に構築できるか？
• RQ4 再サンプルデータにおける設計行列とノイズの間の依存性がある場合、ブートストラップ推定量はどのように動作するか？
• RQ5 有効ノイズの真の分位数に対するブートストラップ推定量の非漸近的誤差バウンドは何か？

主な発見

• 提案されたブートストラップ推定量 $\hat{\gamma}_{\alpha,B}$ は、高確率で真の $\alpha$-分位数 $\lambda_\alpha^*$ を一貫して推定する。
• 推定量は有限標本の有効性を達成する：帰無仮説 $H_0: \beta^* = 0$ の下で $\mathbb{P}(T_B \leq \hat{\gamma}_{\alpha,B}) \geq 1 - \alpha + o(1)$ が成り立つ。
• 対立仮説 $H_1: \beta^*_B \neq 0$ の下で、$\hat{\gamma}_{\alpha,B}$ を用いた検定はパワーが1に近づく。すなわち $\mathbb{P}(T_B > \hat{\gamma}_{\alpha,B}) = 1 - o(1)$ となる。
• 推定誤差に対して非漸近的バウンドが得られる：高確率で $\hat{\gamma}_{\alpha,B} \in [\gamma_{\alpha - \nu_n', B}^*, \gamma_{\alpha + \nu_n', B}^*]$ が成り立つ。ここで $\nu_n' \to 0$ は多項式的レートで収束する。
• 推定量は完全にデータ駆動的であり、追加のチューニングパrameterやノイズ分布に関する仮定を必要としない。
• 弱いモーメントおよび依存性条件の下で理論的保証が確立され、定数は $\|\Psi_A^{-1}\|_2$ や $c_\vartheta$ のようなモデルパラメータにのみ依存する。