[논문 리뷰] Breaking the curse of dimensionality in regression

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|2017. 08. 01.

Statistical Methods and Inference참고 문헌 41인용 수 8

한 줄 요약

이 논문은 고차원 회귀에서 차원의 저주를 극복하기 위해 특징 간의 강도를 빌려오는 그룹 수준의 모수 추론(GRoup-level Inference of Parameter, GRIP) 검정을 소개한다. GRIP은 일반적인 희박성 구조—혼합 희박 및 조밀 신호 포함—에서 유효한 다중 검정을 가능하게 하며, 기존 방법에 비해 최소 최대 최적성과 뛰어난 오류 통제 성능을 보여준다.

ABSTRACT

Models with many signals, high-dimensional models, often impose structures on the signal strengths. The common assumption is that only a few signals are strong and most of the signals are zero or close (collectively) to zero. However, such a requirement might not be valid in many real-life applications. In this article, we are interested in conducting large-scale inference in models that might have signals of mixed strengths. The key challenge is that the signals that are not under testing might be collectively non-negligible (although individually small) and cannot be accurately learned. This article develops a new class of tests that arise from a moment matching formulation. A virtue of these moment-matching statistics is their ability to borrow strength across features, adapt to the sparsity size and exert adjustment for testing growing number of hypothesis. GRoup-level Inference of Parameter, GRIP, test harvests effective sparsity structures with hypothesis formulation for an efficient multiple testing procedure. Simulated data showcase that GRIPs error control is far better than the alternative methods. We develop a minimax theory, demonstrating optimality of GRIP for a broad range of models, including those where the model is a mixture of a sparse and high-dimensional dense signals.

연구 동기 및 목표

• 희박성과 조밀성의 혼합된 신호 강도를 포함한 고차원 모형에서 강건한 다중 검정 절차를 개발하기 위해.
• 실제 응용 사례인 뇌 연결성 또는 유전자군 분석에서 자주 실패하는 엄격한 희박성 가정에 의존하는 기존 방법의 한계를 해결하기 위해.
• p ≫ n 이고 검정 대상이 되는 신호의 수가 증가하는 고차원 선형 모형에서 그룹 또는 다변량 검정을 위한 유효한 추론을 제공하기 위해.
• 희박-조밀 혼합 구조를 포함한 광범위한 모델 클래스에서 제안된 방법의 최소 최대 최적성( minimax optimality )을 확립하기 위해.
• 희박성이 아닌 null 가설이 가능한 모형, 예를 들어 조밀한 신호의 매개수 변환에서의 모수에 대한 신뢰구간과 가설 검정을 가능하게 하기 위해.

제안 방법

• 특징 간의 강도를 빌려오는 테스트 통계량을 구성하기 위해 모멘트 매칭 설정을 제안하여 검정력과 강건성을 향상시킨다.
• 모르는 희박성 크기와 증가하는 가설 수에 적응할 수 있는 그룹 수준의 추론 절차로 GRIP 검정을 도입한다.
• 약한 모멘트 조건 하에서 테스트 통계량의 점근 정규성을 활용하여 귀무가설 하에서 조건부 정규 근사 분포를 사용한다.
• 약한 또는 집합적으로 조밀한 신호가 존재하는 경우에도 일致한 추정이 가능하도록 고차원 모수 벡터를 추정하기 위해 탈편향 전략을 적용한다.
• 고차원 환경에서 가족 오차율을 통제하기 위해 종속된 랜덤 벡터의 최대값에 대한 균일 중심극한정리(Uniform Central Limit Theorem)를 적용한다.
• 최대값의 분포에 대한 양측 분위수를 기반으로 한 임계값을 유도하며, 이는 서브-가우시안 및 서브-지수 노름 한계를 통해 조정된다.

실험 결과

연구 질문

• RQ1 신호가 엄격히 희박하지 않은 고차원 회귀에서 다중 검정 절차가 유효한 오류 통제를 유지할 수 있는가?
• RQ2 매개수 변환에 의한 조밀한 신호에서 비희박한 모수를 포함하는 귀무가설일 경우 추론을 어떻게 강건하게 만들 수 있는가?
• RQ3 희박 및 조밀 신호가 혼합된 모형에서 테스트 오류의 최적 속도는 무엇이며, 실용적인 방법으로 이를 달성할 수 있는가?
• RQ4 모르는 희박성 크기와 함께 증가하는 검정 모수 수에 적응하면서도 유효성을 유지할 수 있는 검정을 어떻게 구성할 수 있는가?
• RQ5 제안된 방법이 희박-조밀 혼합 구조를 포함한 광범위한 고차원 모델 클래스에서 최소 최대 최적성(minimax optimality)을 달성하는가?

주요 결과

• GRIP는 희박-조밀 혼합 구조를 포함한 광범위한 고차원 모형 클래스에서 최소 최대 최적 오류율을 달성한다.
• 시뮬레이션 결과, 특히 조밀하거나 하이브리드 신호 환경에서 기존 방법에 비해 훨씬 뛰어난 오류 통제 성능을 보인다.
• β₀의 비영인 요소가 n 또는 그 이상의 크기일 때조차도 유효한 제1종 오류 통제를 유지한다.
• 이론적 분석을 통해 테스트 통계량의 점근 분포가 가우시안 과정에 잘 근사됨을 확인하여 정확한 임계값 보정이 가능하다.
• GRIP 검정은 모르는 희박성 크기에 적응하고 증가하는 가설 수를 조정하여, 엄격한 희박성 조건이 필요한 기존 방법보다 뛰어난 성능을 발휘한다.
• 테스트 통계량 최대값에 대한 이론적 경계 분석을 통해 확률적으로 0으로 수렴함을 보여주며, 이는 약한 모멘트 조건 하에서 점근적 타당성을 보장한다.