[논문 리뷰] Hypothesis testing in non-sparse high-dimensional linear models

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|2016. 10. 07.

Statistical Methods and Inference참고 문헌 20인용 수 2

한 줄 요약

이 논문은 희박성 가정이 위반될 경우에도 여전히 유효한 고차원 선형 모델에 대한 강력한 가설 검정 방법인 CorrT를 제안한다. 이는 희박 및 조밀한 설계 모두에서 유효하며, 종래의 방법들과 달리 노미널 수준에서 유형 I 오류를 통제하고, 희박, 조밀, 하이브리드 모델 전반에서 낮은 유형 II 오류를 달성하여 최적성과 뛰어난 성능을 입증한다. 시뮬레이션 결과에서 뛰어난 성능을 보였다.

ABSTRACT

In high-dimensional linear models, the sparsity assumption is typically made, stating that most of the parameters are equal to zero. Under the sparsity assumption, estimation and, recently, inference have been well studied. However, in practice, sparsity assumption is not checkable and more importantly is often violated; a large number of covariates might be expected to be associated with the response, indicating that possibly all, rather than just a few, parameters are non-zero. A natural example is a genome-wide gene expression profiling, where all genes are believed to affect a common disease marker. We show that existing inferential methods are sensitive to the sparsity assumption, and may, in turn, result in the severe lack of control of Type-I error. In this article, we propose a new inferential method, named CorrT, which is robust to model misspecification such as heteroscedasticity and lack of sparsity. CorrT is shown to have Type I error approaching the nominal level for extit{any} models and Type II error approaching zero for sparse and many dense models. In fact, CorrT is also shown to be optimal in a variety of frameworks: sparse, non-sparse and hybrid models where sparse and dense signals are mixed. Numerical experiments show a favorable performance of the CorrT test compared to the state-of-the-art methods.

연구 동기 및 목표

• 기존 고차원 추론 방법이 검증 불가능한 희박성 가정에 의존하는 심각한 한계를 해결하기 위해.
• 희박성 가정이 위반될 경우, 예를 들어 많은 공변량이 반응에 영향을 주는 조밀한 모델에서라도 유효한 가설 검정 절차를 개발하기 위해.
• 이상치, 이방성 및 비희박한 모수 구조를 포함한 모형 오Specification 상황에서도 Type I 오류 통제를 보장하기 위해.
• 희박, 조밀, 혼합된 희박 및 조밀 신호를 포함한 다양한 모형 클래스에서 최적의 검정력을 확보하기 위해.
• 현실적인 비희박 고차원 상황에서 실패하는 현재의 방법들에 대한 실용적이고 강력한 대안을 제공하기 위해.

제안 방법

• CorrT는 공변량 간 상관관계를 고려하고 오차 구조의 잠재적 이방성에 대응하기 위해 새로운 검정 통계량을 도입한다.
• 이 방법은 많은 매개변수가 0이 아닐 경우에도 고차원 회귀 계수의 추정 편향을 보정하는 디biased 처리 절차를 사용한다.
• 일반적인 오차 분포와 약한 종속성 가정 하에서 유효한 추론을 보장하기 위해 공분산 보정 메커니즘을 활용한다.
• 검정 통계량은 근사적으로 근본가설 하에서 중심경향을 가지며, 모형의 희박성과 관계없이 크기 제어가 정확하게 가능하다.
• p-값을 계산하기 위해 와일드 부트스트랩 또는 분석적 근사법을 활용하여 이방성과 비정규 오차에 대한 강건성을 확보한다.
• 이 방법은 극한에서 분포 자유성을 유지하며, 희박성 가정 없이도 다양한 고차원 모형에서 유효성을 유지한다.

실험 결과

연구 질문

• RQ1 기존의 고차원 추론 방법들은 실질적으로 희박성 가정이 위반될 경우 어떻게 성능을 보이는가?
• RQ2 많은 공변량이 실제로 영향을 주는 비희박 모형에서, 유형 I 오류 통제가 유지되는 가설 검정 절차는 존재하는가?
• RQ3 희박, 조밀, 혼합된 신호를 포함한 하이브리드 고차원 모형 전반에서 최적의 검정력을 달성할 수 있는 방법이 존재하는가?
• RQ4 모형 오Specification 상황에서 CorrT는 최첨단 방법과 비교해 Type I 오류 통제 및 통계적 검정력 측면에서 어떻게 성능을 내는가?
• RQ5 희박성 가정에 의존하지 않으면서도 이론적 보장을 유지하는 강력한 추론 방법을 개발할 수 있는가?

주요 결과

• CorrT는 기존 방법이 실패하는 모든 고려된 모형, 특히 조밀 및 비희박 설정에서도 명목 수준의 Type I 오류를 통제한다.
• CorrT의 Type II 오류는 희박 모형과 조밀 모형 양쪽에서 0에 수렴하여 높은 통계적 검정력을 나타낸다.
• CorrT는 다양한 프레임워크에서 검정력 측면에서 최적성을 달성한다. 이는 희박, 비희박, 혼합된 신호를 포함한 하이브리드 모형을 포함한다.
• 수치 실험 결과, CorrT는 Type I 오류 통제 및 검정력 측면에서 최첨단 방법을 능가함을 입증하였으며, 특히 모형 오Specification 상황에서 뛰어난 성능을 보였다.
• CorrT는 이방성에 강건하며, 희박성에 대한 가정이 필요 없어 유전체 연관 연구와 같은 실제 적용에 적합하다.
• CorrT의 성능은 다양한 표본 크기와 차원성 범위에서 안정적이며, 고차원 추론 분야에서의 실용적 유용성을 확인한다.