[논문 리뷰] Accuracy Assessment for High-dimensional Linear Regression

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|2016. 03. 10.

Statistical Methods and Inference참고 문헌 13인용 수 6

한 줄 요약

이 논문은 고차원 선형 회귀에서 ℓ_q 손실 추정에 대한 최소최대 하한을 확립하여, Lasso 및 Dantzig 선택기와 같은 속도 최적의 추정기의 ℓ_q 손실에 대한 점 추정 및 구간 추정에 대해 정밀한 속도를 제공한다. ℓ_2 손실과 ℓ_q 손실(1 ≤ q < 2) 사이의 근본적인 차이를 드러내며, 설계 공분산과 잡음 분산이 알려져 있거나 알려지지 않은 경우에 대해 최소최대 및 적응형 신뢰구간을 유도한다. 이는 추정기 성능 제약 조건 하에서 손실 추정을 위한 새로운 기술적 도구를 사용한다.

ABSTRACT

This paper considers point and interval estimation of the $\ell_q$ loss of an estimator in high-dimensional linear regression with random design. We establish the minimax rate for estimating the $\ell_{q}$ loss and the minimax expected length of confidence intervals for the $\ell_{q}$ loss of rate-optimal estimators of the regression vector, including commonly used estimators such as Lasso, scaled Lasso, square-root Lasso and Dantzig Selector. Adaptivity of the confidence intervals for the $\ell_{q}$ loss is also studied. Both the setting of known identity design covariance matrix and known noise level and the setting of unknown design covariance matrix and unknown noise level are studied. The results reveal interesting and significant differences between estimating the $\ell_2$ loss and $\ell_q$ loss with $1\le q &lt;2$ as well as between the two settings. New technical tools are developed to establish rate sharp lower bounds for the minimax estimation error and the expected length of minimax and adaptive confidence intervals for the $\ell_q$ loss. A significant difference between loss estimation and the traditional parameter estimation is that for loss estimation the constraint is on the performance of the estimator of the regression vector, but the lower bounds are on the difficulty of estimating its $\ell_q$ loss. The technical tools developed in this paper can also be of independent interest.

연구 동기 및 목표

• 고차원 선형 회귀에서 ℓ_q 손실의 점 추정 및 구간 추정에 대한 최소최대 하한을 확립하는 것.
• Lasso, Dantzig 선택기 및 그 변종과 같은 속도 최적의 추정기의 ℓ_q 손실에 대한 최소최대 기대 길이를 가진 신뢰구간을 특성화하는 것.
• 설계 공분산 행렬과 잡음 수준이 알려져 있거나 알려지지 않은 경우에 대해 ℓ_q 손실에 대한 적응형 신뢰구간을 연구하는 것.
• ℓ_2 손실과 ℓ_q 손실(1 ≤ q < 2) 사이의 상당한 차이를 특정하고 설명하는 것, 특히 추정의 어려움과 최소최대 속도 측면에서.
• 추정기의 성능에 제약 조건이 있을 때 그 ℓ_q 손실을 추정하는 데의 어려움에 대한 하한을 도출하기 위해 특화된 새로운 기술적 도구를 개발하는 것.

제안 방법

• 등급 제약 조건 하에서 ℓ_q 손실 추정 오차에 대한 최소최대 하한을 유도하기 위해, 회귀 벡터와 잡음 수준에 대한 사전 분포를 사용한 이중점 테스트 방법을 적용한다.
• Le Cam의 방법과 Fano의 부등식을 적용하여, 희박성 제약 조건 하에서 ℓ_q 손실 추정의 최소최대 위험에 대한 정밀한 하한을 확립한다.
• 설계 공분산과 알려지지 않은 잡음 분산 하에서 하한을 도출하기 위해, 회귀 벡터 β와 잡음 수준 σ에 대한 공동 사전 분포를 구성한다.
• 추정기의 성능을 제약 조건으로 간주하면서도 그의 ℓ_q 손실 추정의 어려움에 대한 하한을 도출하기 위한 새로운 기술적 프레임워크를 사용한다.
• ℓ_q 손실에 대한 신뢰구간의 최소최대 기대 길이를 분석하며, k₂ ≲ √n / log p와 k₂ ≳ √n / log p의 두 영역을 구분한다.
• Lasso, 스케일드 Lasso, 루트 제곱 Lasso, Dantzig 선택기와 같은 널리 사용되는 추정기들이 요구 조건(A1 및 A2)을 충족함을 확인함으로써 제안된 하한이 이들 추정기에도 적용됨을 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 설계 하에서 고차원 선형 회귀에서 속도 최적의 추정기의 ℓ_q 손실 추정에 대한 최소최대 속도는 무엇인가?
• RQ2 고차원 설정에서 ℓ_q 손실(1 ≤ q < 2) 추정의 어려움이 ℓ_2 손실 추정과 비교해 어떻게 다를까?
• RQ3 설계 공분산과 잡음 분산이 알려져 있거나 알려지지 않은 경우에 대해 ℓ_q 손실에 대한 최소최대 기대 길이의 신뢰구간은 무엇인가?
• RQ4 희박성 또는 잡음 수준에 대한 사전 지식 없이도 최소최대 속도를 달성하는 ℓ_q 손실에 대한 적응형 신뢰구간을 구성할 수 있는가?
• RQ5 추정기의 성능에 제약 조건이 있을 때, 그의 ℓ_q 손실 추정의 어려움에 대한 정밀한 하한을 도출하기 위해 필요한 새로운 기술적 도구는 무엇인가?

주요 결과

• k₂ ≲ √n / log p 인 경우, ℓ_q 손실 추정에 대한 최소최대 하한은 순서적으로 k₂^(2/q) (log p)/n × σ₀²이며, 이는 q=2일 때 ℓ_2 손실의 속도와 정확히 일치한다.
• 1 ≤ q < 2 이고 k₂ ≳ √n / log p 인 경우, 최소최대 하한은 순서적으로 max{ k₂^(2/q - 1) k₁ (log p)/n, k₂^(2/q - 1)/√n } × σ₀²이며, 이는 영역 의존적 행동을 드러낸다.
• 1 ≤ q < 2 일 때, ℓ_q 손실 추정의 최소최대 속도는 ℓ_2 손실보다 엄격히 느리며, 이는 추정의 어려움에서 근본적인 차이를 나타낸다.
• 논문은 ℓ_q 손실에 대한 최소최대 기대 길이가 희박성 수준 k₂와 차원 수 p에 따라 영향을 받는 하한선으로 둘러싸여 있으며, 서로 다른 희박성 영역에서 다른 행동을 보임을 밝혀냈다.
• 결과는 ℓ_q 손실 추정에 대한 최소최대 하한이 정밀하며, 적절한 조정 하에서 Lasso, 스케일드 Lasso, 루트 제곱 Lasso, Dantzig 선택기와 같은 표준 추정기들에 의해 달성됨을 보여준다.
• 공동 사전 분포와 제어된 전체 변동 거리 거리를 갖는 이중점 테스트를 사용한 기술적 도구들은 손실 추정 문제에서 정밀한 하한을 도출하는 데 효과적임이 입증되었다.