[論文レビュー] CAD: Debiasing the Lasso with inaccurate covariate model

Michael Celentano, Andrea Montanari|arXiv (Cornell University)|Jul 29, 2021

Statistical Methods and Inference参考文献 47被引用数 4

ひとこと要約

本稿では、共変数モデルの推定が不正確な場合の高次元線形回帰における近似的に不偏推定量を構築するための新規手法、相関補正不偏ラッソ（CAD）を提案する。CADは、精度行列と回帰係数の推定誤差の相関に起因するバイアスを補正し、共変数が同一ガウス分布に従う半教師あり設定において、すなわちノイズの共分散が不正確に推定されていようとも、ほぼ完全なバイアスキャンセリングを達成する。

ABSTRACT

We consider the problem of estimating a low-dimensional parameter in high-dimensional linear regression. Constructing an approximately unbiased estimate of the parameter of interest is a crucial step towards performing statistical inference. Several authors suggest to orthogonalize both the variable of interest and the outcome with respect to the nuisance variables, and then regress the residual outcome with respect to the residual variable. This is possible if the covariance structure of the regressors is perfectly known, or is sufficiently structured that it can be estimated accurately from data (e.g., the precision matrix is sufficiently sparse). Here we consider a regime in which the covariate model can only be estimated inaccurately, and hence existing debiasing approaches are not guaranteed to work. When errors in estimating the covariate model are correlated with errors in estimating the linear model parameter, an incomplete elimination of the bias occurs. We propose the Correlation Adjusted Debiased Lasso (CAD), which nearly eliminates this bias in some cases, including cases in which the estimation errors are neither negligible nor orthogonal. We consider a setting in which some unlabeled samples might be available to the statistician alongside labeled ones (semi-supervised learning), and our guarantees hold under the assumption of jointly Gaussian covariates. The new debiased estimator is guaranteed to cancel the bias in two cases: (1) when the total number of samples (labeled and unlabeled) is larger than the number of parameters, or (2) when the covariance of the nuisance (but not the effect of the nuisance on the variable of interest) is known. Neither of these cases is treated by state-of-the-art methods.

研究の動機と目的

• 共変数モデルの推定誤差がある状況下で、高次元線形回帰における低次元パラメータの近似的に不偏な推定量を構築する課題に対処すること。
• 精度行列の推定誤差と回帰係数の推定誤差が相関している場合に、従来の不偏化手法が失敗する問題を克服すること。
• ノイズの共分散構造が不正確に推定されていようとも、バイアスキャンセリングを保証する手法を開発すること。
• ラベルなしデータを含む半教師あり学習設定において、不偏化の理論的保証を提供すること。
• 正確またはスパースな精度行列の推定を要件としない従来の不偏ラッソ手法の適用範囲を拡張すること。

提案手法

• 精度行列の推定誤差と回帰係数の推定誤差の共分散を考慮した相関補正補正項を導入する。
• ラベルありおよびラベルなしデータを併用して、ノイズの共分散構造の推定を改善する。
• 目的変数と結果変数をノイズ変数に関して直交化し、その後補正付き回帰ステップを実行することで推定量を構築する。
• 共変数が同一ガウス分布に従うという仮定の下で補正項を導出し、バイアス構造を解析的に制御可能にする。
• 全サンプルサイズ（ラベルあり＋ラベルなし）がパラメータ数を超える、またはノイズ共分散が既知である場合に、バイアスキャンセリングが達成される。
• 理論的分析は、ガウス性の下での高次元漸近的枠組みと集中不等式に依拠する。

実験結果

リサーチクエスチョン

• RQ1 精度行列の推定が不正確で、その推定誤差と回帰係数の推定誤差が相関している場合に、有効な不偏ラッソ推定量を構築できるか？
• RQ2 従来の不偏化手法のバイアスが、精度行列と回帰係数の推定誤差が相関している場合に、どのような条件下で失敗するか？
• RQ3 ラベルなしデータを用いた半教師あり学習が、モデル不適合下での不偏ラッソ推定量のロバスト性を向上させ得るか？
• RQ4 ノイズ共分散が未知だが誤差を伴って推定されている状況下で、高次元回帰においてほぼゼロのバイアスを達成するのは可能か？
• RQ5 全サンプルサイズ（ラベルありおよびラベルなし）がパラメータ数を超える場合に、どのような理論的保証を不偏推定に対して提供できるか？

主な発見

• 相関補正不偏ラッソ（CAD）は、精度行列の推定誤差と回帰係数の推定誤差が相関している場合でさえ、高次元線形回帰においてほぼバイアスを排除する。
• CADは、全サンプル数（ラベルあり＋ラベルなし）がパラメータ数を超える場合にバイアスキャンセリングを達成するが、これは従来の手法がカバーしない領域である。
• CADは、ノイズ共分散が未知だが誤差を伴って推定されていようとも、全サンプルサイズが十分に大きい限り有効である。
• 共変数が同一ガウス分布に従うという仮定のもとで有効な推論が可能であり、これによりバイアス構造を解析的に制御できる。
• 高次元漸近的枠組みの下で理論的保証が確立され、CADは推定量の漸近正規性を達成することが示された。
• 特に半教師あり学習の文脈において、不正確または相関のある推定誤差がある状況で、標準的な不偏ラッソを上回る性能を示した。