[논문 리뷰] Gaussian approximation for the sup-norm of high-dimensional matrix-variate U-statistics and its applications

Xiaohong Chen|arXiv (Cornell University)|2016. 01. 31.

Random Matrices and Applications참고 문헌 48인용 수 4

한 줄 요약

이 논문은 데이터 분포에 대한 구조적 가정 없이 초고차원 행렬형 U통계량에 대해 초등형 노름에서 이중 단계의 가우시안 근사법을 개발한다. 미약한 모멘트 조건 하에서 차원 $ p $가 표본 크기 $ n $를 초과할 수 있는 고차원 설정에서도 수렴 속도가 다항식적으로 감소하는 것을 입증하며, 이는 새로운 월드 브라우어스트랩 방법을 통해 공분산 및 순서 상관계수 행렬에 대한 타당한 추론을 가능하게 한다.

ABSTRACT

This paper studies the Gaussian approximation of high-dimensional and non-degenerate U-statistics of order two under the supremum norm. We propose a two-step Gaussian approximation procedure that does not impose structural assumptions on the data distribution. Specifically, subject to mild moment conditions on the kernel, we establish the explicit rate of convergence that decays polynomially in sample size for a high-dimensional scaling limit, where the dimension can be much larger than the sample size. We also supplement a practical Gaussian wild bootstrap method to approximate the quantiles of the maxima of centered U-statistics and prove its asymptotic validity. The wild bootstrap is demonstrated on statistical applications for high-dimensional non-Gaussian data including: (i) principled and data-dependent tuning parameter selection for regularized estimation of the covariance matrix and its related functionals; (ii) simultaneous inference for the covariance and rank correlation matrices. In particular, for the thresholded covariance matrix estimator with the bootstrap selected tuning parameter, we show that the Gaussian-like convergence rates can be achieved for heavy-tailed data, which are less conservative than those obtained by the Bonferroni technique that ignores the dependency in the underlying data distribution. In addition, we also show that even for subgaussian distributions, error bounds of the bootstrapped thresholded covariance matrix estimator can be much tighter than those of the minimax estimator with a universal threshold.

연구 동기 및 목표

• 표본 크기 $ n $이 증가함에 따라 차원 $ p $가 증가하는 상황에서 초등형 노름 하에서 고차원 U통계량의 점근적 행동을 연구하는 것.
• 데이터 분포에 대한 구조적 가정 없이 비퇴화된 고차원 행렬형 U통계량에 대해 가우시안 근사를 제공하는 것.
• 중앙화된 U통계량의 최대값의 분위수를 근사하기 위한 실용적인 월드 브라우어스트랩 방법을 개발하는 것.
• 일반적이며 가능성이 높은 꼬리가 두꺼운 분포 하에서 고차원 공분산 및 순서 상관계수 행렬에 대해 타당한 통계적 추론을 가능하게 하는 것.
• 자료의 의존성을 고려함으로써 고전적 방법인 보프레니오 보정보다 더 날카운 오차 경계를 달성하는 것.

제안 방법

• 이중 단계 가우시안 근사 제안: 먼저 하제크 프로젝션(Hoeffding 분해)을 통해 U통계량을 선형 성분으로 근사하고, 그 다음 선형 항을 가우시안 벡터로 근사한다.
• 비퇴화 및 캐논칼 V통계량에 대한 최대 모멘트 부등식과 모멘트 경계를 사용하여 근사 오차를 통제한다.
• 핵 함수에 대한 미약한 모멘트 조건 하에서 초등형 노름에서 다항식적으로 감소하는 수렴 속도를 확립한다.
• 중앙화된 U통계량의 최대값의 분위수를 추정하기 위한 월드 브라우어스트랩 절차를 도입하고, 그 점근적 타당성을 증명한다.
• 정규화된 공분산 추정에서 데이터 기반의 조정 파rameter 선택과 공분산 및 순서 상관계수 행렬에 대한 동시 추론에 브라우어스트랩을 적용한다.
• 고차원 자료의 의존성 구조를 활용하여 보편적 임계값 또는 보프레니오 보정보다 더 날카운 오차 경계를 달성한다.

실험 결과

연구 질문

• RQ1 특정 데이터 구조를 가정하지 않고 고차원 행렬형 U통계량의 초등형 노름에 대해 가우시안 근사를 달성할 수 있는가?
• RQ2 차원 $ p \gg n $ 인 상황에서 최소한의 모멘트 조건 하에서 가우시안 근사의 수렴 속도는 어떠한가?
• RQ3 월드 브라우어스트랩 방법이 고차원 설정에서 U통계량의 최대값에 대해 점근적으로 타당한 추론을 제공할 수 있는가?
• RQ4 이중 단계 방법이 꼬리가 두꺼운 자료에서 보프레니오 보정과 같은 고전적 방법보다 오차 경계 측면에서 어떻게 개선되는가?
• RQ5 브라우어스트랩 기반의 조정 파rameter 선택이 꼬리가 두꺼운 분포 하에서 임계값을 적용한 공분산 행렬 추정량에 대해 가우시안 유사 수렴 속도를 달성할 수 있는가?

주요 결과

• 이중 단계 가우시안 근사는 차원 $ p $가 표본 크기 $ n $를 초과할 수 있는 고차원 설정에서도 미약한 모멘트 조건 하에서 초등형 노름에서 다항식적으로 감소하는 수렴 속도를 달성한다.
• 월드 브라우어스트랩 방법은 중심화된 U통계량의 최대값의 분위수를 점근적으로 타당하게 근사할 수 있으며, 이는 고차원 설정에서 실용적인 추론을 가능하게 한다.
• 임계값을 적용한 공분산 행렬 추정량의 경우, 브라우어스트랩으로 선택된 조정 파rameter는 서브가우시안 자료일지라도 최소한의 추정량과 비교해 더 날카운 오차 경계를 제공한다.
• 이 방법은 꼬리가 두꺼운 자료에 대해 가우시안 유사 수렴 속도를 달성하며, 의존성을 忽시하는 보프레니오 기법보다 우수한 성능을 보인다.
• 이론적 경계는 최대 모멘트 부등식과 쌍대성 원리를 사용하여 유도되었으며, 통제된 모멘트 조건 하에서 근사 오차에 대한 명시적 상수를 제공한다.
• 이 프레임워크는 유계(예: 켄달의 타우) 및 비유계(예: 표본 공분산) 핵 함수에 모두 적용 가능하여 공분산 및 순서 상관계수 추정에 광범위한 적용 가능성을 갖는다.