[논문 리뷰] Confidence Intervals for Low-Dimensional Parameters With High-Dimensional Data

Cun‐Hui Zhang, Stephanie S. Zhang|arXiv (Cornell University)|2011. 10. 12.

Statistical Methods and Inference참고 문헌 27인용 수 29

한 줄 요약

이 논문은 고차원 선형 회귀 모델에서 차원 수가 낮은 매개변수—예를 들어 개별 계수 또는 선형 조합—에 대한 신뢰구간을 구축하는 방법을 제안한다. 예측 변수의 수가 표본 크기보다 많을 조건 하에서 점점 정규성과 일致한 분산 측정이 확립됨에 따라, 이 방법은 정확한 침습 확률을 보장하며 시뮬레이션을 통해 검증된다.

ABSTRACT

Abstract. The purpose of this paper is to propose methodologies for statistical inference of low-dimensional parameters with high-dimensional data. We focus on constructing con-fidence intervals for individual coefficients and linear combinations of several of them in a linear regression model, although our ideas are applicable in a much broader context. The theoretical results presented here provide sufficient conditions for the asymptotic normality of the proposed estimators along with a consistent estimator for their finite-dimensional covariance matrices. These sufficient conditions allow the number of variables to far ex-ceed the sample size. The simulation results presented here demonstrate the accuracy of the coverage probability of the proposed confidence intervals, strongly supporting the theoretical results.

연구 동기 및 목표

• 예측 변수의 수가 표본 크기보다 훨씬 많을 때, 낮은 차원의 매개변수에 대한 통계적 추론 문제를 해결한다.
• 고차원 환경에서 개별 회귀 계수와 선형 조합에 대해 유효한 신뢰구간을 구축하는 방법을 개발한다.
• 고차원 모델에서 추정기의 점점 정규성을 보장하는 충분한 조건을 설정한다.
• 추정기의 유한 차원 공분산 행렬에 대한 일致한 추정기법을 제공한다.
• p ≫ n 조건에서도 신뢰할 수 있는 추론을 보장하며, 고차원 환경으로 일반화된 고전적 추론을 확장한다.

제안 방법

• 고차원 선형 모델에서 낮은 차원의 매개변수에 대한 보정된 또는 비희박화된 추정기법을 제안한다.
• 제안된 추정기가 p ≫ n 조건 하에서도 점점 정규성이 성립하기 위한 충분한 조건을 도출한다.
• 고차원 데이터를 이용해 낮은 차원의 매개변수의 공분산 행렬에 대한 일치 추정기법을 구축한다.
• 두 단계 추정 절차를 활용한다: 먼저 고차원 회귀 계수를 추정하고, 그 다음 낮은 차원의 매개변수에서의 편향을 보정한다.
• 유도된 점점 정규성을 이용해 보장된 침입 특성을 갖는 신뢰구간을 구축한다.
• 다양한 고차원 설정에서의 시뮬레이션 연구를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 예측 변수의 수가 표본 크기를 초과할 때, 개별 회귀 계수에 대해 유효한 신뢰구간을 구축할 수 있는가?
• RQ2 고차원 모델에서 낮은 차원의 매개변수 추정기의 점점 정규성을 보장하는 조건은 무엇인가?
• RQ3 고차원 설정에서 낮은 차원의 매개변수의 유한 차원 공분산 행렬을 어떻게 일관되게 추정할 수 있는가?
• RQ4 고차원 데이터 하에서 제안된 신뢰구간의 경험적 침입 확률은 어떻게 되는가?
• RQ5 이 방법은 개별 계수를 초월하여 고차원 모델에서 매개변수의 선형 조합으로 확장될 수 있는가?

주요 결과

• 제안된 낮은 차원의 매개변수 추정기는 p ≫ n 조건을 허용하는 충분한 조건 하에서 점점 정규성을 보인다.
• 매개변수의 유한 차원 공분산 행렬에 대한 일관된 추정기법이 유도되어 유효한 추론이 가능해진다.
• 시뮬레이션 결과는 신뢰구간이 명목 수준에 매우 가까운 침입 확률을 보이며 이론적 주장에 대한 지지를 받는다.
• 예측 변수의 수가 표본 크기보다 훨씬 많을 때도 정확한 침입을 유지한다.
• 이 방법은 개별 계수를 초월하여 고차원 회귀 모델에서 매개변수의 선형 조합에도 적용 가능하다.
• 이론적 프레임워크는 고전적 방법이 실패하는 고차원 모델에서의 추론을 위한 기반을 제공한다.