[논문 리뷰] Confidence Intervals for High-Dimensional Linear Regression: Minimax Rates and Adaptivity

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|2015. 06. 18.

Statistical Methods and Inference참고 문헌 11인용 수 8

한 줄 요약

이 논문은 랜덤 설계 하에서 고차원 선형 회귀에 대해 최소최대 최적의 신뢰구간을 수립하며, 희박한 회귀 벡터에 대해 최소최대 기대 길이가 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$ 순서임을 보여준다. 또한 적응형 신뢰구간—알 수 없는 희박성 $k$에 자동으로 조정되는 것—는 기본적인 편향 추정 곤란으로 인해 일반적으로 가능하지 않음을 증명한다. 유일하게 가능한 경우는 매우 희박한 영역에서다.

ABSTRACT

Confidence sets play a fundamental role in statistical inference. In this paper, we consider confidence intervals for high dimensional linear regression with random design. We first establish the convergence rates of the minimax expected length for confidence intervals in the oracle setting where the sparsity parameter is given. The focus is then on the problem of adaptation to sparsity for the construction of confidence intervals. Ideally, an adaptive confidence interval should have its length automatically adjusted to the sparsity of the unknown regression vector, while maintaining a prespecified coverage probability. It is shown that such a goal is in general not attainable, except when the sparsity parameter is restricted to a small region over which the confidence intervals have the optimal length of the usual parametric rate. It is further demonstrated that the lack of adaptivity is not due to the conservativeness of the minimax framework, but is fundamentally caused by the difficulty of learning the bias accurately.

연구 동기 및 목표

• 랜덤 설계 하에서 고차원 선형 회귀의 신뢰구간 길이에 대한 최소최대 수렴 속도를 수립하기.
• 알 수 없는 희박성 $k$에 자동으로 조정되는 적응형 신뢰구간이 유효한 커버리지 유지와 함께 구성 가능한지 조사하기.
• 고차원 설정에서 편향을 정확히 추정하는 데 어려움으로 인해 발생하는 적응 가능성의 근본적 제한을 규명하기.
• 중간 희박 영역 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$에서 진정한 신뢰구간을 처음으로 구성하기.
• 특히 희박성 매개변수 $k$와 관련하여 적응형 신뢰구간이 가능한 조건을 규명하기.

제안 방법

• 희박성 $k$가 알려진 오라클 설정에서 신뢰구간의 기대 길이에 대한 최소최대 하한을 유도한다.
• 저차원 투영 추정기법을 사용한 탈편향 기반의 신뢰구간 구성 방법을 제안하며, 초기 추정기로 스케일드 라소를 사용한다.
• 선형 기능 $\xi^T\beta$의 탈편향 추정기법을 위해 스코어 벡터를 사용한 편향 보정 메커니즘을 도입한다.
• 높은 확률 사건을 통해 추정된 분산과 편향 항의 이탈을 통제함으로써 커버리지 확률 보장을 확립한다.
• 집중 부등식과 고차원 확률 도구를 사용하여 추정 오차와 분산 추정 오차를 경계한다.
• 기대 길이 분석을 통해 적절한 조건 하에서 최소최대 속도 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 설계 하에서 고차원 선형 회귀의 기대 길이에 대한 최소최대 수렴 속도는 무엇인가?
• RQ2 희박성 매개변수 $k$의 사전 지식 없이도 최적 길이를 자동으로 달성하는 신뢰구간을 구성할 수 있는가?
• RQ3 적응 가능성의 부족은 최소최대 프레임워크의 보수성 때문인가, 아니면 근본적인 통계적 제한 때문인가?
• RQ4 중간 희박 영역 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$에서 신뢰구간의 행동은 어떠한가?
• RQ5 편향 추정의 곤란함은 적응형 신뢰구간의 실현 가능성에 어떤 영향을 미치는가?

주요 결과

• 희박성 $k$가 알려진 오라클 설정에서 $\xi^T\beta$의 최소최대 기대 길이는 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$이다.
• 이 최소최대 속도를 달성하는 신뢰구간 구성 방법을 제안하며, 따라서 최소최대 속도 최적이다.
• 알 수 없는 $k$에 자동으로 조정되는 적응형 신뢰구간은 일반적으로 불가능하며, 유일하게 가능한 경우는 $k \lesssim \frac{\sqrt{n}}{\log p}$인 초희박 영역에서다.
• 적응 가능성의 불가능성은 최소최대 프레임워크의 보수성 때문이 아니라, 고차원에서 편향을 정확히 학습하는 데 근본적인 어려움에서 기인한다.
• 제안된 신뢰구간은 중간 희박 영역 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$에서 최소최대 최적성을 달성하는 최초의 것으로서, 정규성 조건 하에서 높은 확률로 기대 길이가 $C\|\xi\|_2\left(k\frac{\log p}{n} + \frac{1}{\sqrt{n}}\right)\sigma$ 이하로 제한됨을 보여준다.