[논문 리뷰] Residual variance and the signal-to-noise ratio in high-dimensional linear models

Lee H. Dicker|arXiv (Cornell University)|2012. 08. 31.

Statistical Methods and Inference참고 문헌 19인용 수 3

한 줄 요약

이 논문은 고차원 선형 모형에서 가우시안 예측 변수와 오차를 가정할 때, 희박하지 않은 신호 가정 하에 잔차 분산, 신호 강도, 신호 대 잡음 비율에 대한 일致적이고 점근적으로 정규분포를 따르는 추정기들을 제안한다. 이 방법은 난이도 이론과 스텐의 보조정리를 활용하여 $ d > n $ 이면서 $ d/n \to \rho $ 인 경우에도 $ n^{-1/2} $-속도 추정을 가능하게 하여 희박성 제약 없이 신뢰할 수 있는 추론을 가능하게 한다.

ABSTRACT

Residual variance and the signal-to-noise ratio are important quantities in many statistical models and model fitting procedures. They play an important role in regression diagnostics, in determining the performance limits in estimation and prediction problems, and in shrinkage parameter selection in many popular regularized regression methods for high-dimensional data analysis. We propose new estimators for the residual variance, the l2-signal strength, and the signal-to-noise ratio that are consistent and asymptotically normal in high-dimensional linear models with Gaussian predictors and errors, where the number of predictors d is proportional to the number of observations n. Existing results on residual variance estimation in high-dimensional linear models depend on sparsity in the underlying signal. Our results require no sparsity assumptions and imply that the residual variance may be consistently estimated even when d > n and the underlying signal itself is non-estimable. Basic numerical work suggests that some of the distributional assumptions made for our theoretical results may be relaxed.

연구 동기 및 목표

• 고차원 선형 모형에서 $ d > n $ 이면서 진짜 신호가 희박하지 않을 때 잔차 분산 추정의 일치성 부족 문제를 해결한다.
• 일반적인 조건 하에서 잔차 분산 $ \sigma^2 $, $ \ell^2 $-신호 강도 $ \tau^2 $, 그리고 신호 대 잡음 비율 $ \tau^2 / \sigma^2 $ 를 위한 추정기를 개발한다.
• 고차원 영역 $ d/n \to \rho \in [0, \infty) $ 에서 이러한 추정기들의 점근적 정규성과 $ n^{-1/2} $-속도 일치성을 확립한다.
• 이러한 추정기를 활용하여 정규화된 회귀 방법에서의 수축 파rameter 선택에 대한 이론적 근거를 제공한다.
• 모수 $ \boldsymbol{\beta} $ 가 희박성이 없어 추정이 불가능할 경우에도 $ \sigma^2 $ 가 일관되게 추정될 수 있음을 보여준다.

제안 방법

• empirical moments of $ \mathbf{y} $ and $ X^T\mathbf{y} $ 를 기반으로 $ \tilde{\sigma}^2(\mathbf{m}) $ 와 $ \tilde{\tau}^2(\mathbf{m}) $ 를 제안하고, $ \mathbf{m} = (d^{-1}\mathrm{tr}(\Sigma), d^{-1}\mathrm{tr}(\Sigma^2)) $ 를 플러그인 추정치로 사용한다.
• 고차원 점근적 조건 하에서 추정기의 점근적 정규성을 도출하기 위해 스텐의 보조정리와 가우시안 적분 부분별 통합을 적용한다.
• 이차 형식에 대한 농도 부등식과 모멘트 경계를 활용하여 $ X $ 와 $ \boldsymbol{\epsilon} $ 를 포함하는 항의 오차를 통제한다.
• 난이도 이론을 활용하여 $ X^T X $ 의 고유값 행동을 분석하고, 특히 $ d/n \to \rho $ 의 경우를 다룬다.
• 고차원 가우시안 벡터의 비선형 함수에 대한 다변량 중심극한정리에 의해 점근적 정규성을 확립한다.
• 신호 대 잡음 비율 $ \tilde{\tau}^2 / \tilde{\sigma}^2 $ 에 대해 델타 방법을 유도하여 동일한 조건 하에서의 점근적 정규성을 보장한다.

실험 결과

연구 질문

• RQ1 고차원 선형 모형에서 $ d > n $ 이고 진짜 회귀 계수 $ \boldsymbol{\beta} $ 가 희박하지 않을 때 잔차 분산 $ \sigma^2 $ 는 일관되게 추정될 수 있는가?
• RQ2 일般적인 (희박하지 않은) 신호 가정 하에서 $ \sigma^2 $, $ \tau^2 $, $ \tau^2 / \sigma^2 $ 의 추정기들의 점근적 성질(일치성과 정규성)은 무엇인가?
• RQ3 이러한 추정기들의 성능은 비율 $ d/n \to \rho $ 에 따라 어떻게 달라지며, $ n^{-1/2} $-속도 일치성을 유지할 수 있는가?
• RQ4 모수 $ \boldsymbol{\beta} $ 가 추정이 불가능한 고차원 환경에서 신호 대 잡음 비율은 신뢰성 있게 추정될 수 있는가?
• RQ5 예측 변수와 오차의 가우시안 분포 가정은 필수적인가, 아니면 실무에서는 완화될 수 있는가?

주요 결과

• 제안된 $ \sigma^2 $, $ \tau^2 $, $ \tau^2 / \sigma^2 $ 의 추정기는 고차원 영역 $ d/n \to \rho \in [0, \infty) $ 에서 $ n^{-1/2} $-속도로 일치적이고 점근적으로 정규분포를 따른다.
• 추정기들은 $ d > n $ 이면서 $ \boldsymbol{\beta} $ 가 추정이 불가능할 경우에도 일관성을 유지하며, 이는 기존 방법이 희박성 조건을 필요로 하는 것과 대조된다.
• 다변량 중심극한정리에 의해 고차원 가우시안 벡터의 비선형 함수에 대한 점근적 정규성은 $ \tilde{\sigma}^2(\mathbf{m}) $ 와 $ \tilde{\tau}^2(\mathbf{m}) $ 에 대해 확립된다.
• 델타 방법에 의해 신호 대 잡음 비율 $ \tilde{\tau}^2 / \tilde{\sigma}^2 $ 는 점근적으로 정규분포를 따르며, 이는 타당한 추론과 신뢰구간을 가능하게 한다.
• 추정기와 정규분포 사이의 총 변동 거리에 대한 이론적 경계를 유도하여 수렴 속도가 $ O(n^{-3/2}) $ 임을 보였다.
• 수치 실험 결과는 가우시안 가정이 실무에서는 완화될 수 있음을 시사하지만, 본 논문에서는 이에 대한 엄밀한 증명은 이루어지지 않았다.