[논문 리뷰] Robustness and accuracy of methods for high dimensional data analysis based on Student's t statistic

Aurore Delaigle, Peter Hall외 1명|arXiv (Cornell University)|2010. 01. 22.

Advanced Statistical Methods and Models인용 수 8

한 줄 요약

이 논문은 높은 차원 설정에서, 특히 무거운 尾 distribution과 희박한 신호 하에서 t-검정 통계량과 그 부트스트랩 근사의 안정성과 2차 정확도를 입증한다. 부트스트랩이 극단기 꼬리에서의 비대칭을 효과적으로 교정하여, p ≫ n 문제에서 정규분포나 t-분포 근사보다 꼬리 확률 추정에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Student's $t$ statistic is finding applications today that were never envisaged when it was introduced more than a century ago. Many of these applications rely on properties, for example robustness against heavy tailed sampling distributions, that were not explicitly considered until relatively recently. In this paper we explore these features of the $t$ statistic in the context of its application to very high dimensional problems, including feature selection and ranking, highly multiple hypothesis testing, and sparse, high dimensional signal detection. Robustness properties of the $t$-ratio are highlighted, and it is established that those properties are preserved under applications of the bootstrap. In particular, bootstrap methods correct for skewness, and therefore lead to second-order accuracy, even in the extreme tails. Indeed, it is shown that the bootstrap, and also the more popular but less accurate $t$-distribution and normal approximations, are more effective in the tails than towards the middle of the distribution. These properties motivate new methods, for example bootstrap-based techniques for signal detection, that confine attention to the significant tail of a statistic.

연구 동기 및 목표

• p ≫ n 조건에서 t-통계량 기반 방법의 안정성과 정확도를 조사한다.
• 무거운 꼬리 분포에서의 표본 분포 하에서 부트스트랩, t-분포, 정규분포 근사의 꼬리 확률 추정 성능을 검토한다.
• 희박한 고차원 설정에서 신호 탐지 및 다중 가설 검정을 위한 부트스트랩 기반 방법을 개발하고 검증한다.
• 약한 모멘트 조건 하에서 표준화된 통계량의 수렴 속도와 고차 정확도를 정량화한다.
• 희박한 신호 탐지에서 표준화된 통계량을 사용한 고차 비판 검정의 이론적 보장을 수립한다.

제안 방법

• 약한 모멘트 조건, 특히 약간만 유한한 두 번째 모멘트를 가진 하에서 표준화된 t-통계량의 중간 및 대규모 꼬리 이탈을 분석한다.
• 부트스트랩을 사용하여 t-통계량의 표본 분포를 근사하고, 이가 비대칭을 교정하며 극단기 꼬리에서 2차 정확도를 달성함을 보여준다.
• 대규모 꼬리 확률 이론과 중간 꼬리 확률 이론을 적용하여 t-통계량과 그 부트스트랩 근사의 꼬리 확률에 대한 경계를 유도한다.
• 표준화된 t-통계량을 사용하여 근사적 전개를 유도함으로써 귀무가설과 대립가설 하에서 고차 비판 검정 통계량의 점근적 전개를 도출한다.
• 밀스 비율과 극단값 근사를 활용하여 고차원 환경에서 꼬리 확률의 행동을 분석한다.
• s_n(q) = √(2q log p)를 사용하여 꼬리 분위수를 재매개변수화하여 다양한 꼬리 영역에서의 최대 신호 탐지 능력을 연구한다.

실험 결과

연구 질문

• RQ1 기저 분포가 무거운 꼬리를 가지며 유한한 모멘트가 몇 개인 경우, t-통계량은 안정성과 정확도 측면에서 어떻게 작동하는가?
• RQ2 특히 극단기 꼬리에서, 부트스트랩은 t-통계량의 꼬리 확률 추정 정확도를 어느 정도 향상시키는가?
• RQ3 기존 근사 방법이 실패하는 고차원 설정에서 부트스트랩 기반 방법이 2차 정확도를 달성할 수 있는가?
• RQ4 고차원 다중 검정에서 표준화된 통계량을 사용할 경우, 희박한 신호의 탐지 경계는 무엇인가?
• RQ5 무거운 꼬리 분포와 희박한 신호 모델 하에서 t-통계량 기반 고차 비판 검정의 성능은 전통적 방법과 비교해 어떻게 되는가?

주요 결과

• t-통계량은 두 번째 모멘트만 유한한 조건 하에서도 무거운 꼬리 분포에 대해 안정성을 보이며, 표준화되지 않은 평균보다 정규분포로 수렴하는 속도가 더 빠르다.
• 부트스트랩 근사는 비대칭을 교정함으로써 극단기 꼬리에서 특히 정규분포나 t-분포 근사보다 2차 정확도를 달성한다.
• 초과 확률가 지수적 또는 다항식적으로 작을 경우, 부트스트랩은 정규분포나 t-분포 근사보다 꼬리 확률 추정에서 더 효과적이다.
• 희박한 신호 탐지에서 t-통계량 기반 고차 비판 검정은 신호 강도와 희박성 조건이 특정 임계 조건을 만족할 경우 최적의 탐지 능력을 달성한다.
• 최대 신호 탐지 능력은 꼬리 확률의 지수를 결정하는 함수 π(q, β, r)에 의해 결정되며, 최적의 탐지 성능은 β와 r에 따라 특정 q 값에서 달성된다.
• 대립가설 하에서 고차 비판 통계량 ˜hc_n,α는 L_p에 비례하며 표준 정규분포의 생존함수를 포함한 항으로 증가하며, 꼬리 영역 내에서 α에 대한 최대값이 탐지 능력을 결정한다.