[논문 리뷰] Asymptotic Properties of SURE Information Criteria for Large Covariance Matrices

Danning Li, Hui Zou|arXiv (Cornell University)|2014. 06. 25.

Random Matrices and Applications참고 문헌 22인용 수 2

한 줄 요약

이 논문은 고차원 설정에서 표본 크기 n이 차원 p와 같거나 작을 때(즉, n ≤ p, log p = o(n)) 큰 공분산 행렬 추정에서 테이퍼링 파라미터를 선택하기 위한 슈타인의 무편향 위험 추정기(SUREc)의 일반화된 가족을 제안한다. SUREc의 점근적 정규성을 확립하고, SURE2와 SURElog(n)가 AIC- 및 BIC-유사 성질을 상속받아 일관된 밴들러블 공분산 행렬 선택이 가능하다는 것을 보여준다.

ABSTRACT

Yi and Zou (2013) proposed a Stein’s unbiased risk estimator (SURE) for the tapering covariance estimator and suggested using the minimizer of SURE as the chosen tapering parameter. Motivated by the deep connection between SURE and AIC in regression models, we propose a family of generalized SURE (SUREc) indexed by c where c is the same constant in front of the degrees of freedom in the information criteria for regression model selection. When c is 2 SURE2 reduces to SURE. Let n and p denote the sample size and dimension respectively. We consider the setting where n ≤ p and log(p) = o(n). We establish the asymptotic normality of the generalized SURE and further derive an explicit probability bound result. We then provide a series of theorems to show that the generalized SURE family can be viewed as the information criteria for bandable covariance matrix estimation and selection in the sense that SURE2 and SURElog(n) have the fundamental properties of AIC and BIC, ∗Statistical Laboratory, University of Cambridge, Centre for Mathematical Sciences, Wilberforce Road, Cambridge CB3 0WB, UK, [e-mail]. †Corresponding authors. [e-mail]. School of Statistics, University of Minnesota.

연구 동기 및 목표

• 표본 크기 n이 차원 p와 같거나 작을 때(즉, n ≤ p) 큰 공분산 행렬 추정에서 최적의 테이퍼링 파라미터를 선택하는 데 도전하는 문제를 다루는 것.
• 회귀에서 SURE와 정보기준(AIC/BIC) 간의 관계를 공분산 행렬 추정으로 확장하는 것.
• 원래 SURE 추정기의 일반화로서 상수 c에 의해 인덱싱되는 일반화된 SURE 프레임워크(SUREc)를 개발하는 것.
• 일반화된 SURE 추정기의 점근적 정규성과 유한 표본 확률 경계를 확립하는 것.
• SURE2와 SURElog(n)가 밴들러블 공분산 행렬 선택 맥락에서 AIC와 BIC와 유사한 기본 성질을 갖는지를 보여주는 것.

제안 방법

• 상수 c에 의해 인덱싱되는 일반화된 SUREc 추정기를 제안하며, 여기서 c는 정보기준의 자유도와 유사한 페널티 항을 제어한다.
• n ≤ p 이며 log(p) = o(n)인 고차원 설정에서 일반화된 SURE 추정기의 점근적 정규성을 유도한다.
• SUREc 추정기의 명시적 유한 표본 확률 경계를 확립하여 진짜 위험으로부터의 농도를 정량화한다.
• SUREc 프레임워크를 테이퍼링 공분산 추정기로 적용하며, SUREc의 최소화자(minimizer)를 선택된 테이퍼링 파라미터로 사용한다.
• SURE2가 원래 SURE 추정기와 일치하고, SURElog(n)이 BIC 페널티 구조를 모방한다는 것을 보여준다.
• 임의의 행렬 이론과 고차원 점근 이론을 활용하여 특정 설정 하에서 SUREc의 성질을 도출한다.

실험 결과

연구 질문

• RQ1 SURE 추정기는 고차원 공분산 행렬 추정을 위한 정보기준(SUREc)의 가족으로 일반화될 수 있는가?
• RQ2 일관된 고차원 설정 n ≤ p 및 log p = o(n) 하에서 일반화된 SUREc 추정기는 여전히 점근적 정규성을 유지하는가?
• RQ3 SURE2와 SURElog(n)는 밴들러블 공분산 행렬 선택 맥락에서 AIC와 BIC와 유사한 성질을 보이는가?
• RQ4 일반화된 SURE 추정기의 유한 표본 확률 경계는 무엇이며, 모형 선택 일관성과 어떻게 관련되는가?
• RQ5 SUREc 프레임워크는 큰 공분산 행렬에서 테이퍼링 파라미터를 일관되게 선택하는 데 사용될 수 있는가?

주요 결과

• 일반화된 SUREc 추정기는 n ≤ p 이며 log(p) = o(n)인 고차원 설정 하에서 점근적으로 정규분포를 따른다.
• SUREc 추정기의 명시적 유한 표본 확률 경계가 유도되었으며, 이는 진짜 위험으로부터의 이격 정도를 정량화한다.
• SURE2는 원래 SURE 추정기와 일치하며, 테이퍼링 파라미터에 대한 위험 추정기로서의 성질을 물려받는다.
• SURElog(n)은 BIC와 유사한 성질을 보이며, 큰 공분산 행렬에서 진짜 밴들러블 구조를 일관되게 선택할 수 있음을 시사한다.
• SUREc 프레임워크는 고차원 공분산 추정에서 테이퍼링 파라미터 선택을 위한 이론적으로 타당한 정보기준을 제공한다.
• 결과적으로 SURE2와 SURElog(n)가 각각 AIC와 BIC의 기본 성질을 밴들러블 공분산 행렬 추정 맥락에서 갖는다는 것이 입증되었다.