[论文解读] Asymptotic Properties of SURE Information Criteria for Large Covariance Matrices

Danning Li, Hui Zou|arXiv (Cornell University)|Jun 25, 2014

Random Matrices and Applications参考文献 22被引用 2

一句话总结

该论文提出了一类广义的Stein无偏风险估计量（SUREc），用于在高维设置下（n ≤ p，log p = o(n)）选择大协方差矩阵估计中的截断参数。该研究建立了SUREc的渐近正态性，并表明SURE2和SURElog(n)继承了AIC和BIC类似的性质，从而实现可一致的带状协方差矩阵选择。

ABSTRACT

Yi and Zou (2013) proposed a Stein’s unbiased risk estimator (SURE) for the tapering covariance estimator and suggested using the minimizer of SURE as the chosen tapering parameter. Motivated by the deep connection between SURE and AIC in regression models, we propose a family of generalized SURE (SUREc) indexed by c where c is the same constant in front of the degrees of freedom in the information criteria for regression model selection. When c is 2 SURE2 reduces to SURE. Let n and p denote the sample size and dimension respectively. We consider the setting where n ≤ p and log(p) = o(n). We establish the asymptotic normality of the generalized SURE and further derive an explicit probability bound result. We then provide a series of theorems to show that the generalized SURE family can be viewed as the information criteria for bandable covariance matrix estimation and selection in the sense that SURE2 and SURElog(n) have the fundamental properties of AIC and BIC, ∗Statistical Laboratory, University of Cambridge, Centre for Mathematical Sciences, Wilberforce Road, Cambridge CB3 0WB, UK, [e-mail]. †Corresponding authors. [e-mail]. School of Statistics, University of Minnesota.

研究动机与目标

• 为解决在样本量n小于等于维度p时，大协方差矩阵估计中选择最优截断参数的挑战。
• 将回归中SURE与信息准则（AIC/BIC）之间的联系扩展到协方差矩阵估计领域。
• 构建一个由常数c索引的广义SURE框架（SUREc），以推广原始SURE估计量。
• 建立广义SURE估计量的渐近正态性及其有限样本概率界。
• 证明SURE2和SURElog(n)在带状协方差矩阵选择背景下，具备类似于AIC和BIC的基本性质。

提出的方法

• 提出一个由常数c索引的广义SUREc估计量，其中c控制惩罚项，类似于信息准则中的自由度。
• 在n ≤ p且log(p) = o(n)的高维设定下，推导广义SURE估计量的渐近正态性。
• 建立SUREc估计量的显式有限样本概率界，量化其相对于真实风险的集中程度。
• 将SUREc框架应用于截断协方差估计器，使用SUREc的最小化点作为选定的截断参数。
• 证明SURE2对应于原始SURE估计量，而SURElog(n)则模拟了BIC的惩罚结构。
• 利用随机矩阵理论和高维渐近分析的理论工具，推导在指定设定下SUREc的性质。

实验结果

研究问题

• RQ1 SURE估计量能否被推广为高维协方差矩阵估计中的信息准则族（SUREc）？
• RQ2 在高维设定n ≤ p且log p = o(n)下，广义SUREc估计量是否保持渐近正态性？
• RQ3 SURE2和SURElog(n)在带状协方差矩阵选择背景下是否表现出类似于AIC和BIC的性质？
• RQ4 广义SURE估计量的有限样本概率界是什么？它与模型选择的一致性有何关系？
• RQ5 SUREc框架能否用于在大协方差矩阵中一致地选择截断参数？

主要发现

• 在n ≤ p且log(p) = o(n)的高维设定下，广义SUREc估计量具有渐近正态性。
• 为SUREc估计量导出了显式的有限样本概率界，量化了其与真实风险的偏离程度。
• SURE2对应于原始SURE估计量，并继承了其作为截断参数风险估计量的性质。
• SURElog(n)表现出类似于BIC的性质，表明其可一致地选择出大协方差矩阵中的真实带状结构。
• SUREc框架为高维协方差估计中的截断参数选择提供了一个理论基础坚实的信息准则。
• 研究结果表明，SURE2和SURElog(n)在带状协方差矩阵估计背景下，分别具备AIC和BIC的基本性质。