[논문 리뷰] Estimating the Lasso's Effective Noise

Johannes Lederer, Michael Vogt|arXiv (Cornell University)|2020. 04. 24.

Statistical Methods and Inference참고 문헌 27인용 수 5

한 줄 요약

이 논문은 라소의 유효 노이즈의 분위수를 추정하기 위한 완전히 데이터 기반의 부트스트랩 기반 추정기법을 제안한다. 유효 노이즈는 $2\|\mathbf{X}^\top\varepsilon\|_\infty/n$로 정의되며, 이는 유한 표본에서의 튜닝 파rameter 校정과 고차원 추론을 가능하게 한다. 노이즈 분포에 대한 사전 지식이나 튜닝 파rameter가 필요로 하지 않으며, 미약한 정규성 조건 하에서 일致성과 유효한 유한 표본 보장을 확보한다.

ABSTRACT

Much of the theory for the lasso in the linear model $Y = X β^* + \varepsilon$ hinges on the quantity $2 \| X^ op \varepsilon \|_{\infty} / n$, which we call the lasso's effective noise. Among other things, the effective noise plays an important role in finite-sample bounds for the lasso, the calibration of the lasso's tuning parameter, and inference on the parameter vector $β^*$. In this paper, we develop a bootstrap-based estimator of the quantiles of the effective noise. The estimator is fully data-driven, that is, does not require any additional tuning parameters. We equip our estimator with finite-sample guarantees and apply it to tuning parameter calibration for the lasso and to high-dimensional inference on the parameter vector $β^*$.

연구 동기 및 목표

• 라소의 유효 노이즈의 분위수, $2\|\mathbf{X}^\top\varepsilon\|_\infty/n$, 를 추정하기 위한 데이터 기반 추정기법을 개발함으로써, 이는 유한 표본 범위와 추론에 핵심적인 역할을 한다.
• 정확도 오차가 높은 확률로 제어되는 임계 임계값 $\lambda_\alpha^*$ 를 추정하여, 라소의 실용적 튜닝 파rameter 校정을 가능하게 한다.
• 예를 들어 $H_0: \beta^* = 0$ 를 검정하는 것과 같은 고차원 추론을 지원하기 위해 유효 노이즈의 근본 분포 분위수를 추정한다.
• 이전 방법들이 노이즈 분포에 대한 지식이나 初기 튜닝 파arameter 추측이 필요로 하는 한계를 극복한다.
• 설계 행렬과 노이즈에 대한 약한 의존성 및 모멘트 조건 하에서, 부트스트랩 기반 추정기법의 유한 표본 보장을 확립한다.

제안 방법

• 이 방법은 비모수 부트스트랩을 사용하여 원래 데이터의 의존성 구조를 유지하는 재표본 설계 행렬 $\mathbf{X}_B$ 와 반응 벡터 $\mathbf{Y}_B$ 를 생성한다.
• 각 부트스트랩 표본에 대해 유효 노이즈는 $T_B = 2\|\mathbf{X}_B^\top \mathbf{Y}_B\|_\infty / n$ 로 계산되며, 이는 근본 가설 하에서 진정한 유효 노이즈의 대체 지표가 된다.
• 부트스트랩 통계량 $T_B$ 의 경험 분위수 $\hat{\gamma}_{\alpha,B}$ 는 진정한 $\alpha$-분위수 $\lambda_\alpha^*$ 의 추정기로 사용된다.
• 부트스트랩 오차에 대한 고확률 경계를 사용하여, 부트스트랩 분위수와 진정한 분위수 사이의 이탈을 통제함으로써 유한 표본 보장을 확립한다.
• 부트스트랩 노이즈와 설계 행렬 간의 의존성을 고려하기 위해 투영 기반 모델을 도입하고 고확률 사건에 조건화한다.
• 이론적 결과는 농도 불등식과 대칭화 기법을 사용하여 유도되며, 표본 크기에 따라 다항식으로 감소하는 이탈 확률에 대한 명시적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 노이즈 분포에 대한 사전 지식이나 튜닝 파arameter가 필요 없이, 라소의 유효 노이즈 분위수를 위한 완전히 데이터 기반의 추정기법을 구성할 수 있는가?
• RQ2 유효 노이즈 분위수의 부트스트랩 기반 추정기법이 고차원 회귀에서 튜닝 파arameter 校정에 대해 유효한 유한 표본 보장을 제공하는가?
• RQ3 제안된 추정기법을 사용하여 고차원 모델에서 $H_0: \beta^* = 0$ 에 대한 유효한 가설 검정을 구성할 수 있는가?
• RQ4 재표본 데이터에서 설계 행렬과 노이즈 간의 의존성이 존재할 경우 부트스트랩 추정기법은 어떻게 작동하는가?
• RQ5 부트스트랩 추정기법의 진정한 유효 노이즈 분위수에 대한 비점근적 오차 경계는 무엇인가?

주요 결과

• 제안된 부트스트랩 추정기 $\hat{\gamma}_{\alpha,B}$ 는 고확률로 라소의 유효 노이즈의 진정한 $\alpha$-분위수 $\lambda_\alpha^*$ 를 일致성 있게 추정한다.
• 추정기법은 유한 표본 유효성을 확보한다: 근본 가설 $H_0: \beta^* = 0$ 하에서 $\mathbb{P}(T_B \leq \hat{\gamma}_{\alpha,B}) \geq 1 - \alpha + o(1)$ 이다.
• 대립가설 $H_1: \beta^*_B \neq 0$ 하에서 $\hat{\gamma}_{\alpha,B}$ 를 기반으로 한 검정은 유일한 검정력을 보이며, 즉 $\mathbb{P}(T_B > \hat{\gamma}_{\alpha,B}) = 1 - o(1)$ 이다.
• 이 방법은 추정 오차에 대한 비점근적 경계를 제공한다: 고확률로 $\hat{\gamma}_{\alpha,B} \in [\gamma_{\alpha - \nu_n', B}^*, \gamma_{\alpha + \nu_n', B}^*]$ 이다. 여기서 $\nu_n' \to 0$ 이며 다항식 속도로 감소한다.
• 추정기법은 완전히 데이터 기반이며 추가 튜닝 파arameter나 노이즈 분포에 대한 가정이 필요로 하지 않는다.
• 약한 모멘트 조건과 의존성 조건 하에서 이론적 보장을 확립하였으며, $\|\Psi_A^{-1}\|_2$ 와 $c_\vartheta$ 와 같이 모델 파aram터에만 의존하는 명시적 상수를 포함한다.