[논문 리뷰] Central Limit Theorems for Classical Likelihood Ratio Tests for High-Dimensional Normal Distributions

Tiefeng Jiang, Fan Yang|arXiv (Cornell University)|2013. 06. 02.

Random Matrices and Applications참고 문헌 36인용 수 5

한 줄 요약

이 논문은 표본 크기 $ n $ 와 차원 수 $ p $ 가 모두 증가하고 $ p/n \to y \in (0,1] $ 인 고차원 다변량 정규 모형에서 고전적 최대우도비검정(likelihood ratio test, LRT) 통계량에 대한 중심극한정리(CLT)를 수립한다. 이 임계 근사에서 LRT 통계량은 명시적인 평균과 분산을 가진 정규분포로 수렴하며, 고차원 데이터 분석에서 기존 카이제곱 근사보다 크게 향상된 성능을 제공한다.

ABSTRACT

For random samples of size n obtained from p-variate normal distributions, we consider the classical likelihood ratio tests (LRT) for their means and covariance matrices in the high-dimensional setting. These test statistics have been extensively studied in multivariate analysis and their limiting distributions under the null hypothesis were proved to be chi-square distributions as n goes to infinity and p remains fixed. In this paper, we consider the high-dimensional case where both p and n go to infinity with p=n/y in (0, 1]. We prove that the likelihood ratio test statistics under this assumption will converge in distribution to normal distributions with explicit means and variances. We perform the simulation study to show that the likelihood ratio tests using our central limit theorems outperform those using the traditional chi-square approximations for analyzing high-dimensional data.

연구 동기 및 목표

• 고정된 $ p $ 에 대한 점근적 영역을 넘어서 고차원 다변량 정규 분포에 대한 고전적 최대우도비검정(LRT)을 확장하기 위해.
• 표본 크기 $ n $ 과 차원 수 $ p $ 가 크고 유사할 경우 기존 카이제곱 근사가 LRT 통계량에 대해 성능이 열 劣하는 문제를 다루기 위해.
• 고차원 점근적 영역 $ p/n \to y \in (0,1] $ 에서 다양한 고전적 LRT에 대해 명시적인 중심극한정리(CLT)를 유도하기 위해.
• 시뮬레이션 연구를 통해 새로운 CLT 기반 추론의 타당성을 검증하여, 카이제곱 근사 대비 더 나은 크기와 검정력(유의수준 제어 및 검정력)을 보여주기 위해.
• 차원 수 $ p $ 가 표본 크기 $ n $ 와 비례하는 경우에 최대우도비검정을 사용한 현대 고차원 통계적 추론의 이론적 기반을 마련하기 위해.

제안 방법

• 랜덤 매트릭스 이론과 다변량 감마 함수의 성질을 사용하여 고차원 점근적 영역 $ p/n \to y \in (0,1] $ 에서 LRT 통계량의 점근적 분포를 유도한다.
• 복소해석 기법을 적용하여, 로그우도비 통계량의 모멘트생성함수를 제어하기 위해 감마 함수 비율의 경계를 도출한다.
• 명시적인 점근적 평균과 분산 표현식을 유도하여 표준화된 LRT 통계량의 분포 수렴을 확립한다.
• 귀무가설 하에서 우도비를 모델링하기 위해 월리쉬 분포와 표본공분산행렬의 분포를 활용한다.
• 표본공분산행렬의 로그행렬식을 근사하기 위해 다변량 감마 함수의 로그의 급수 전개를 사용한다.
• 기존 카이제곱 근사와의 비교를 통해 유의수준 오류율과 통계적 검정력을 평가하는 광범위한 시뮬레이션을 실시하여 CLT 근사의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 고차원 정규 데이터에서 공분산행렬의 구형성에 대한 고전적 최대우도비검정 통계량의 점근적 분포는 $ p/n \to y \in (0,1] $ 일 때 어떻게 되는가?
• RQ2 표본 크기 $ p $ 와 표본 수 $ n $ 이 유사하게 증가하는 고차원 점근적 조건에서 평균벡터의 동일성과 공분산행렬의 동일성에 대한 LRT의 점근적 분포는 어떻게 행동하는가?
• RQ3 다변량 정규 벡터의 성분들 간의 독립성에 대한 고전적 최대우도비검정은 고차원에서 정규분포로 정확하게 근사될 수 있는가?
• RQ4 고차원 환경에서 CLT 기반 LRT의 성능은 카이제곱 근사 대비 크기와 검정력 측면에서 어떻게 비교되는가?
• RQ5 다양한 고전적 LRT에 대해 고차원 점근적 조건 하에서 로그우도비 통계량의 명시적인 점근적 평균과 분산은 무엇인가?

주요 결과

• 공분산행렬의 구형성, 평균벡터의 동일성, 공분산행렬의 동일성, 그리고 다변량 정규 모형에서 성분 간의 독립성에 대한 최대우도비검정 통계량은 $ p/n \to y \in (0,1] $ 일 때 정규분포로 수렴한다.
• 점근적 정규분포는 점근적 비율 $ y = \lim p/n $ 에 따라 명시적인 평균과 분산을 가지며, $ y \to 1 $ 일 때 분산이 발산한다.
• $ y < 1 $ 일 경우 점근적 분산은 $ \sigma^2 = -2[y + \log(1 - y)] $ 이고, $ y = 1 $ 일 경우 무한대로 발산한다.
• 시뮬레이션 연구 결과, 고차원 데이터에서 CLT 기반 근사는 기존 카이제곱 근사 대비 유의수준 제어 및 통계적 검정력 측면에서 뚜렷한 성능 향상을 보였다.
• 카이제곱 근사가 질량 결함으로 인해 붕괴되는 임계 경우 $ p/n \to 1 $ 에서도 CLT 근사는 유효하다.
• 복소해석학과 다변량 감마 함수의 점근적 전개, 특히 고차원에서 감마 함수 비율의 분석을 통해 철저한 증명을 통해 이론적 결과가 뒷받침된다.