[논문 리뷰] A General Theory of Hypothesis Tests and Confidence Regions for Sparse High Dimensional Models

Yang Ning, Han Liu|arXiv (Cornell University)|2014. 12. 30.

Statistical Methods and Inference참고 문헌 43인용 수 26

한 줄 요약

이 논문은 고차원 흐름 매개변수의 영향을 줄이기 위해 분리된 스코어 함수를 제안함으로써 고차원 희소 모델에서 가설 검정 및 신뢰영역 구축을 위한 일반적인 프레임워크를 제시한다. 이 방법은 미약한 정규성 조건 하에서 펜라이즈드 M-추정량에 대한 타당한 추론을 가능하게 하며, 점 渐진적 유형 I 오류 통제, 국소 검정력 및 반모수 효율성에 대한 이론적 보장이 있으며, 볼록 및 비볼록 페널티, 일반화된 손실 함수, 잘못 지정된 모델에 모두 적용 가능하다.

ABSTRACT

We consider the problem of uncertainty assessment for low dimensional components in high dimensional models. Specifically, we propose a decorrelated score function to handle the impact of high dimensional nuisance parameters. We consider both hypothesis tests and confidence regions for generic penalized M-estimators. Unlike most existing inferential methods which are tailored for individual models, our approach provides a general framework for high dimensional inference and is applicable to a wide range of applications. From the testing perspective, we develop general theorems to characterize the limiting distributions of the decorrelated score test statistic under both null hypothesis and local alternatives. These results provide asymptotic guarantees on the type I errors and local powers of the proposed test. Furthermore, we show that the decorrelated score function can be used to construct point and confidence region estimators that are semiparametrically efficient. We also generalize this framework to broaden its applications. First, we extend it to handle high dimensional null hypothesis, where the number of parameters of interest can increase exponentially fast with the sample size. Second, we establish the theory for model misspecification. Third, we go beyond the likelihood framework, by introducing the generalized score test based on general loss functions. Thorough numerical studies are conducted to back up the developed theoretical results.

연구 동기 및 목표

• 고차원 흐름 매개변수를 가진 고차원 모델에서 낮은 차원의 성분에 대한 불확실성 측정의 부족을 해결하기 위해.
• 볼록 및 비볼록 페널티를 포함한 다양한 펜라이즈드 M-추정량에 적용 가능한 일반적인 추론 프레임워크를 개발하기 위해.
• 고차원 영가설, 모형 오지정, 비우도 기반 손실 함수로의 추론을 확장하기 위해.
• 제안된 방법의 유형 I 오류 통제, 국소 검정력, 반모수 효율성에 대한 이론적 보장을 확립하기 위해.
• 이론적 및 수치적 분석을 통해 고차원 선형 및 일반화선형 모델에서 이 프레임워크를 검증하기 위해.

제안 방법

• 관심 있는 매개변수의 스코어와 흐름 매개변수 간의 상관관계를 제거하기 위해 분리된 스코어 함수를 제안한다.
• 분리된 스코어 함수를 사용하여 영가설과 국소 대립가설 하에서의 점근적 분포가 유도된 검정 통계량을 구성한다.
• 분리된 스코어 함수를 적용하여 반모수 효율 추정량과 최적의 신뢰영역을 구성한다.
• 관심 있는 매개변수의 수가 표본 크기와 함께 증가하는 고차원 영가설로 프레임워크를 확장한다.
• 우도 기반 추론을 초월하기 위해 임의의 손실 함수를 기반으로 한 일반화된 스코어 검정을 도입함으로써 방법을 일반화한다.
• 고차원 영가설 및 모형 오지정 하에서 실용적 추론을 위한 승수 부트스트랩 절차의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 흐름 매개변수를 가진 고차원 모델에서 낮은 차원의 성분에 대한 일반적인 추론 프레임워크를 개발할 수 있는가?
• RQ2 영가설과 국소 대립가설 하에서 분리된 스코어 검정 통계량의 점근적 분포는 무엇인가?
• RQ3 어떻게 분리된 스코어 함수를 사용하여 반모수 효율성과 최적의 신뢰영역을 달성할 수 있는가?
• RQ4 이 프레임워크는 고차원 영가설 및 모형 오지정으로까지 확장될 수 있는가?
• RQ5 이 방법은 우도 기반 추론을 초월하여 임의의 손실 함수로 일반화될 수 있는가?

주요 결과

• 분리된 스코어 검정 통계량은 영가설 하에서 점근적으로 카이제곱 분포를 따르며, 이는 점근적으로 정확한 유형 I 오류 통제를 보장한다.
• 검정은 이론적 하한선에 도달하는 국소 검정력을 확보하여 영가설에 가까운 대립가설에 매우 민감함을 나타낸다.
• 분리된 스코어 함수로부터 유도된 추정량은 반모수 효율 한계에 도달하여 비모수 모형에서 최적임을 보여준다.
• 승수 부트스트랩 절차는 관심 있는 매개변수의 수가 표본 크기와 함께 증가하는 고차원 영가설에 대해서도 타당함이 입증된다.
• 모형 오지정 하에서도 이 프레임워크는 고차원 환경에서 '가장 잘못된' 매개변수에 대한 공식적 추론을 제공한다.
• 이론적 조건은 고차원 선형 및 일반화선형 모델에서 검증되었으며, 광범위한 적용 가능성을 확인한다.