[논문 리뷰] A projection pursuit framework for testing general high-dimensional hypothesis

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|2017. 05. 02.

Advanced Statistical Methods and Models참고 문헌 33인용 수 12

한 줄 요약

이 논문은 변수 수가 표본 크기보다 훨씬 많은 고차원 가설을 검정하기 위한 새로운 투영 추적 프레임워크를 제안한다. 귀무가설 공간 위에 대한 l1 투영의 새로운 클래스를 정의함으로써, 복잡한 비볼록 및 고차원 가설—예를 들어 스파arsity 수준, 최소 신호 강도, 이차 함수형 등—에 대해 점점 더 정확한 추론이 가능해지며, 유한 표본 성능과 검정력이 뛰어나다.

ABSTRACT

This article develops a framework for testing general hypothesis in high-dimensional models where the number of variables may far exceed the number of observations. Existing literature has considered less than a handful of hypotheses, such as testing individual coordinates of the model parameter. However, the problem of testing general and complex hypotheses remains widely open. We propose a new inference method developed around the hypothesis adaptive projection pursuit framework, which solves the testing problems in the most general case. The proposed inference is centered around a new class of estimators defined as $l_1$ projection of the initial guess of the unknown onto the space defined by the null. This projection automatically takes into account the structure of the null hypothesis and allows us to study formal inference for a number of long-standing problems. For example, we can directly conduct inference on the sparsity level of the model parameters and the minimum signal strength. This is especially significant given the fact that the former is a fundamental condition underlying most of the theoretical development in high-dimensional statistics, while the latter is a key condition used to establish variable selection properties. Moreover, the proposed method is asymptotically exact and has satisfactory power properties for testing very general functionals of the high-dimensional parameters. The simulation studies lend further support to our theoretical claims and additionally show excellent finite-sample size and power properties of the proposed test.

연구 동기 및 목표

• 개별 매개수 검정을 넘어서 일반적이고 비볼록적이며 복잡한 가설에 대한 고차원 추론의 핵심적 격차를 메우기 위해.
• 귀무가설 집합의 기하학적 구조에 관계없이 항상 점근적으로 정확한 통합 추론 프레임워크를 개발하기 위해.
• 실제로 자주 가정되지만 검증되지 않은 고차원 조건—예를 들어 스파arsity 수준과 최소 신호 강도(β-min 조건)—에 대한 공식적인 검정을 가능하게 하기 위해.
• 고차원 모델에서 광범위한 함수형에 대해 만족스러운 검정력과 크기 제어를 갖춘 강력한 비점근적 검정을 제공하기 위해.

제안 방법

• 초기 추정치를 귀무가설이 정의하는 공간에 대한 l1 투영을 기반으로 한 가설 적응형 투영 추적 프레임워크를 제안한다.
• 초기 추정치를 귀무집합 위에 l1 정규화된 투영으로 정의하는 새로운 추정량 클래스를 제시하며, 이는 귀무가설의 구조를 자동으로 반영한다.
• 추정과 추론을 분리하기 위해 이중 표본 분할 절차를 사용하여 검정의 안정성과 타당성을 향상시킨다.
• 검정 통계량의 표본 분포를 근사하기 위해 부트스트랩 기반 접근법을 활용하여 정확한 p-값 계산을 가능하게 한다.
• 귀무가설 하에서 검정 통계량의 농도를 제어하기 위해 반-집중 부등식과 하위지수 尾부 불등식을 적용한다.
• 고차원 점근 이론을 사용하여 이론적 보장을 도출하며, 복잡한 귀무집합을 통한 수렴 속도와 균일성 등을 포함한다.

실험 결과

연구 질문

• RQ1 좌표나 볼록 집합에 국한되지 않는 일반적인 고차원 가설에 대해 점근적으로 정확한 검정을 구성할 수 있는가?
• RQ2 고차원 매개수 벡터의 스파arsity 수준을 공식적으로 검정할 수 있는가? 이 조건은 고차원 통계학 이론의 대부분을 뒷받침하는 핵심 조건이다.
• RQ3 변수 선택의 일致성에 핵심적인 역할을 하지만 검증되지 않은 β-min 조건에 대한 유효한 검정을 개발할 수 있는가?
• RQ4 신호 대 잡음 비율 등 매개수 벡터의 이차형식과 같은 일반 함수형을 고차원 모델에서 어떻게 검정할 수 있는가?
• RQ5 다양한 고차원 설정에서 제안된 검정의 유한 표본 성능은 크기와 검정력 측면에서 어떻게 평가되는가?

주요 결과

• 제안된 방법은 비볼록적이며 복잡한 집합을 포함한 광범위한 고차원 귀무가설 집합에 대해 점근적으로 정확한 성능를 달성한다.
• 광범위한 시뮬레이션 연구를 통해 검정의 우수한 유한 표본 크기와 검정력을 확인하였다.
• 이전에는 고차원에서 검증이 불가능했던 스파arsity 수준 ∥β∗∥0 ≤ c에 대한 공식적 추론을 가능하게 한다.
• β-min 조건, 즉 minj∈S0 |β∗,j| ≥ c에 대한 첫 번째 점근적으로 정확한 검정을 제공한다. 이는 변수 선택 일관성에 매우 중요하다.
• l1 투영 추정량은 귀무가설 하에서 최적의 수렴 속도를 달성하며, ∥ˆβd − β∗∥1 ≤ 2∥ˆβu − β∗∥1를 만족하여 강건성을 확보한다.
• 이론적 분석을 통해 검정 통계량의 분포가 부트스트랩에 의해 잘 근사됨을 확인하였으며, 고차원 매개수 공간 전역에서 균일한 제어가 가능하다.