[논문 리뷰] $L^2$ Asymptotics for High-Dimensional Data

Mengyu Xu, Danna Zhang외 1명|arXiv (Cornell University)|2014. 05. 28.

Random Matrices and Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 $p$가 $n$을 초과할 수 있는 고차원 설정에서 표본 평균 벡터의 $L^2$ 노름에 대한 渐近 이론을 개발한다. $n\bar{X}_n^T\bar{X}_n$의 분포가 가우시안 이차형식의 분포로 수렴함을 보여주는 불변성 원리(인вар리언스 원리)를 확립함으로써, 비정규성과 고차원 점점 증가하는 점근적 조건 하에서도 가우시안 근사에 의한 타당한 추론이 가능함을 보여준다.

ABSTRACT

We develop an asymptotic theory for $L^2$ norms of sample mean vectors of high-dimensional data. An invariance principle for the $L^2$ norms is derived under conditions that involve a delicate interplay between the dimension $p$, the sample size $n$ and the moment condition. Under proper normalization, central and non-central limit theorems are obtained. To facilitate the related statistical inference, we propose a plug-in calibration method and a re-sampling procedure to approximate the distributions of the $L^2$ norms. Our results are applied to multiple tests and inference of covariance matrix structures.

연구 동기 및 목표

• 차원 수 $p$가 표본 크기 $n$과 함께 증가하는 경우, 특히 $p > n$ 영역에서 표본 평균 벡터의 $L^2$ 노름에 대한 타당한 점근적 이론을 수립하는 것.
• 표본 크기 $n$이 증가함에 따라 $\sqrt{n} = o(p)$가 되는 고차원에서 고전적 중심극한정리의 붕괴 문제를 다루며, 고정된 차원 점근적 조건을 초월하여 $L^2$ 노름 추론의 유효성을 연장하는 것.
• 일반적인 모멘트 조건 하에서 표본 평균의 $L^2$ 노름을 이용한 통계적 추론—특히 다중 검정과 공분산 구조 검정—을 위한 프레임워크를 개발하는 것.
• 진짜 공분산 행렬이 알려져 있지 않은 상황에서 $L^2$ 노름의 분포를 근사하기 위해 플러그인 校정 및 부트스트랩 방법을 제안하는 것.
• 스테인의 방법을 이용해 $n\bar{X}_n^T\bar{X}_n$에 대한 비점근적 가우시안 근사를 수립하고, 진짜 자료의 공분산 구조와 동일한 공분산 행렬을 가진 $\chi^2$ 분포의 혼합 분포로 수렴하는 것을 보여주는 것.

제안 방법

• 모멘트 조건과 차원-표본 크기 조건 하에서 $\sup_{u\in\mathbb{R}}|\mathbb{P}(n\bar{X}_n^T\bar{X}_n \leq u) - \mathbb{P}(n\bar{Y}_n^T\bar{Y}_n \leq u)| \to 0$를 만족하는 불변성 원리를 도출하며, 여기서 $Y_i \sim N(0,\Sigma)$이다.
• 스테인의 정규 근사 방법을 적용하여 데이터의 네 번째 모멘트 조건을 이용해 표본 평균의 $L^2$ 노름과 가우시안 혼합 분포 사이의 워샤르 거리에 대한 경계를 도출한다.
• 고차원 설정에서 표본 공분산 행렬 추정기의 품질 평가를 위해 스펙트럼 노름 수렴과 구별되는 새로운 행렬 수렴 기준—정규화된 일致성—을 도입한다.
• 추정된 공분산 행렬을 사용한 플러그인 校정 방법을 제안하며, 새로운 일치성 기준 하에서 이론적 근거를 제시한다.
• 진짜 공분산 행렬 $\Sigma$가 알려져 있지 않은 상황에서 $L^2$ 노름의 표본 분포를 근사하기 위한 부트스트랩 절차를 개발한다.
• 네 번째 모멘트와 공분산 구조를 통해 정의된 $\gamma_{a,a'}$를 이용해 $\mathbb{E}[W W^T] = \sum_{a,a'} \gamma_{a,a'}^2$ 라는 항등식을 사용하여 이차형식의 분산에 대한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 고차원 점근적 조건 하에서 데이터가 비정규일 경우, 표본 평균 벡터의 $L^2$ 노름인 $n\bar{X}_n^T\bar{X}_n$이 어떤 조건에서 가우시안 혼합 분포로 수렴하는가?
• RQ2 데이터가 비정규적이며 $p > n$인 경우, $n\bar{X}_n^T\bar{X}_n$의 점근적 분포는 어떻게 근사할 수 있는가?
• RQ3 고차원에서 $L^2$ 노름의 점근적 분포를 결정하는 데 네 번째 모멘트의 구조가 어떤 역할을 하는가?
• RQ4 진짜 공분산 행렬이 알려져 있지 않은 상황에서 플러그인 또는 부트스트랩 방법이 $L^2$ 노름의 표본 분포를 신뢰성 있게 근사할 수 있는가?
• RQ5 제안된 정규화된 일치성 기준은 스펙트럼 노름 수렴과 어떻게 다를 수 있으며, 왜 고차원 설정에서 더 적합한가?

주요 결과

• 표본 크기 $n$, 차원 수 $p$, 그리고 $X_i$의 네 번째 모멘트에 대한 조건 하에서 $\sup_{u\in\mathbb{R}}|\mathbb{P}(n\bar{X}_n^T\bar{X}_n \leq u) - \mathbb{P}(n\bar{Y}_n^T\bar{Y}_n \leq u)| \to 0$가 성립함을 보여, 불변성 원리의 타당성을 입증한다.
• 비정규 데이터일지라도 $n\bar{X}_n^T\bar{X}_n$의 점근적 분포가 독립적인 $\chi^2$ 분포의 혼합 분포로 근사됨을 보여준다.
• 정규화된 일치성 기준이 도입되었으며, 표본 공분산 행렬이 스펙트럼 노름으로 수렴하지 않더라도 플러그인 校정의 타당성을 보장하는 데 충분함을 보였다.
• 네 번째 모멘트와 공분산 구조를 포함한 $f_W^2 = \sum_{a,a'} \gamma_{a,a'}^2$를 이용한 분해를 통해 이차형식 $n\bar{X}_n^T\bar{X}_n$의 분산에 대한 경계를 도출하였다.
• 모든 $\nu \in (0,2)$에 대해 $f_W^2 \geq \nu^2 f^4 / 2$임을 증명하여, 미약한 모멘트 조건 하에서도 점근적 분산의 비퇴화성을 보장한다.
• 부트스트랩 및 플러그인 校정 방법이 이론적으로 타당함을 입증하였으며, 제안된 정규화된 일치성 조건 하에서 고차원 다중 검정 및 공분산 구조 검정에서 실용적으로 사용 가능함을 보였다.