[論文レビュー] Residual variance and the signal-to-noise ratio in high-dimensional linear models

Lee H. Dicker|arXiv (Cornell University)|Aug 31, 2012

Statistical Methods and Inference参考文献 19被引用数 3

ひとこと要約

本稿は、ガウス型の予測子と誤差を仮定する高次元線形モデルにおいて、スパarsity仮定の下でない状況でも、残差分散、信号強度、信号対雑音比の一貫性と漸近正規性を持つ推定量を提案する。この手法は、ランダム行列理論とスティーンの補題を活用し、$ d > n $ であっても $ n^{-1/2} $ 速度の推定を達成でき、スパarsity制約なしに信頼性のある推論を可能にする。

ABSTRACT

Residual variance and the signal-to-noise ratio are important quantities in many statistical models and model fitting procedures. They play an important role in regression diagnostics, in determining the performance limits in estimation and prediction problems, and in shrinkage parameter selection in many popular regularized regression methods for high-dimensional data analysis. We propose new estimators for the residual variance, the l2-signal strength, and the signal-to-noise ratio that are consistent and asymptotically normal in high-dimensional linear models with Gaussian predictors and errors, where the number of predictors d is proportional to the number of observations n. Existing results on residual variance estimation in high-dimensional linear models depend on sparsity in the underlying signal. Our results require no sparsity assumptions and imply that the residual variance may be consistently estimated even when d > n and the underlying signal itself is non-estimable. Basic numerical work suggests that some of the distributional assumptions made for our theoretical results may be relaxed.

研究の動機と目的

• スパarsityがない場合に $ d > n $ の高次元線形モデルで、残差分散の推定が一貫しないという問題に対処する。
• 一般条件の下で、残差分散 $ \sigma^2 $、$ \ell^2 $-信号強度 $ \tau^2 $、信号対雑音比 $ \tau^2 / \sigma^2 $ の推定量を構築する。
• 高次元的漸近的枠組み $ d/n \to \rho \in [0, \infty) $ において、これらの推定量の漸近正規性と $ n^{-1/2} $-速度の一貫性を確立する。
• これらの推定量を用いて、正則化回帰手法における縮小パラメータ選択の理論的根拠を提供する。
• スパarsityが欠如しているために $ \boldsymbol{\beta} $ が推定不能であっても、$ \sigma^2 $ が一貫して推定可能であることを示す。

提案手法

• Empirical moments of $ \mathbf{y} $ と $ X^T\mathbf{y} $ を用いて、推定量 $ \tilde{\sigma}^2(\mathbf{m}) $ と $ \tilde{\tau}^2(\mathbf{m}) $ を提案し、$ \mathbf{m} = (d^{-1}\mathrm{tr}(\Sigma), d^{-1}\mathrm{tr}(\Sigma^2)) $ をプラグイン推定として用いる。
• 高次元的漸近的枠組み下で、推定量の漸近正規性を導出するために、スティーンの補題とガウス型積分による部分積分を適用する。
• 二次形式に関する $ X $ と $ \boldsymbol{\epsilon} $ のモーメントバウンドと集中不等式を用いて、推定量の誤差を制御する。
• ランダム行列理論を活用し、特に $ d/n \to \rho $ の下で $ X^T X $ の固有値挙動を分析する。
• 高次元ガウスベクトルの非線形関数に対する多変量中心極限定理を用いて、漸近正規性を確立する。
• 信号対雑音比 $ \tilde{\tau}^2 / \tilde{\sigma}^2 $ に対してデルタ法を導出し、同じ条件下でその漸近正規性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityがない場合に $ d > n $ で真の回帰係数 $ \boldsymbol{\beta} $ が非スパースな高次元線形モデルにおいて、残差分散 $ \sigma^2 $ を一貫して推定できるか？
• RQ2 一般（非スパース）信号仮定の下で、$ \sigma^2 $、$ \tau^2 $、$ \tau^2 / \sigma^2 $ の推定量の漸近的性質（一貫性と正規性）は何か？
• RQ3 推定量の性能は比 $ d/n \to \rho $ にどのように依存するか？また、$ n^{-1/2} $-速度の一貫性を維持できるか？
• RQ4 スパarsityが欠如しており $ \boldsymbol{\beta} $ が推定不能な高次元的設定でも、信号対雑音比を信頼性高く推定できるか？
• RQ5 予測子と誤差の分布的仮定（ガウス性）は必要か？実務では緩和可能だろうか？

主な発見

• 提案された $ \sigma^2 $、$ \tau^2 $、$ \tau^2 / \sigma^2 $ の推定量は、高次元的漸近的枠組み $ d/n \to \rho \in [0, \infty) $ において、$ n^{-1/2} $ 速度で一貫性と漸近正規性を有する。
• $ d > n $ であっても $ \boldsymbol{\beta} $ が推定不能であっても、これらの推定量は一貫性を保つ。これは、スパarsityを要件とする既存手法とは対照的である。
• 多変量中心極限定理を用いて、高次元ガウスベクトルの非線形関数に対する $ \tilde{\sigma}^2(\mathbf{m}) $ と $ \tilde{\tau}^2(\mathbf{m}) $ の漸近正規性が確立された。
• デルタ法により、信号対雑音比 $ \tilde{\tau}^2 / \tilde{\sigma}^2 $ は漸近正規性を有する。これにより、妥当な推論と信頼区間が可能になる。
• 推定量と正規分布との間の全変動距離に関する理論的バウンドが導出され、$ O(n^{-3/2}) $ 速度での収束が示された。
• 数値実験から、ガウス性の仮定は実務では緩和可能である可能性が示唆されたが、本稿では正式に証明されていない。