[论文解读] Large Dimensional Analysis and Optimization of Robust Shrinkage Covariance Matrix Estimators

Romain Couillet, Matthew R. McKay|arXiv (Cornell University)|Jan 16, 2014

Random Matrices and Applications参考文献 21被引用 10

一句话总结

该论文通过将Tyler的M-估计器与Ledoit-Wolf收缩方法结合，在高维设置下提出了一种最优收缩策略，用于鲁棒协方差矩阵估计。利用随机矩阵理论，推导出渐近最优的收缩参数，显著提升了估计精度，尤其在高维、抗异常值及小样本条件下优于经验方法。

ABSTRACT

This article studies two regularized robust estimators of scatter matrices proposed (and proved to be well defined) in parallel in (Chen et al., 2011) and (Pascal et al., 2013), based on Tyler's robust M-estimator (Tyler, 1987) and on Ledoit and Wolf's shrinkage covariance matrix estimator (Ledoit and Wolf, 2004). These hybrid estimators have the advantage of conveying (i) robustness to outliers or impulsive samples and (ii) small sample size adequacy to the classical sample covariance matrix estimator. We consider here the case of i.i.d. elliptical zero mean samples in the regime where both sample and population sizes are large. We demonstrate that, under this setting, the estimators under study asymptotically behave similar to well-understood random matrix models. This characterization allows us to derive optimal shrinkage strategies to estimate the population scatter matrix, improving significantly upon the empirical shrinkage method proposed in (Chen et al., 2011).

研究动机与目标

• 解决在样本量较小且存在异常值时估计大维协方差矩阵的挑战。
• 通过推导解析最优收缩参数，改进鲁棒协方差估计中经验收缩方法的性能。
• 在i.i.d.椭球分布抽样下，建立鲁棒收缩估计器与已知随机矩阵模型之间的渐近等价性。
• 基于几乎必然收敛结果，为高维鲁棒统计中的最优收缩提供理论基础。
• 弥合在N ≈ n的大维区域中鲁棒估计与收缩技术之间的差距。

提出的方法

• 提出两种混合鲁棒收缩估计器：Abramovich–Pascal估计器与Chen估计器，将Tyler的M-估计器与Ledoit-Wolf收缩方法结合。
• 应用大维随机矩阵理论，刻画当N, n → ∞且N/n → c ∈ (0,1)时估计器的渐近行为。
• 利用隐式方程和谱范数收敛，推导估计器涉及的迹和二次型的确定性等价物。
• 在所假设的渐近框架下，建立经验收缩参数几乎必然收敛至其确定性等价物的结果。
• 通过最小化均方误差的确定性近似来优化收缩参数，从而获得闭式解。
• 利用连续映射与收敛性论证，证明最优收缩参数及其所得估计器几乎必然收敛至其确定性极限。

实验结果

研究问题

• RQ1 在N ≈ n的高维区域中，鲁棒收缩协方差估计器的渐近行为如何？
• RQ2 能否使用一种确定性的、渐近最优的替代方法，改进先前工作中使用的经验收缩参数？
• RQ3 在i.i.d.椭球抽样下，鲁棒收缩估计器的渐近分布是什么？
• RQ4 通过Tyler估计器实现的鲁棒性与通过Ledoit-Wolf实现的收缩之间的相互作用，在有限样本中如何影响估计精度？
• RQ5 能否利用随机矩阵理论解析推导出最优收缩参数？其性能是否优于经验方法？

主要发现

• 所提出的最优收缩参数几乎必然收敛至一个最小化渐近均方误差的确定性极限。
• 鲁棒收缩估计器的渐近行为由随机矩阵理论推导出的确定性等价物所刻画，从而实现精确分析。
• 通过渐近等价性与收敛性结果验证，最优收缩参数在估计精度上显著优于Chen等人（2011年）提出的经验证方法。
• 估计器表现出收缩参数几乎必然收敛至其理论最优值，确保在大维设置下的一致性能。
• 通过涉及底层分布谱矩的隐式方程，显式推导出收缩参数的确定性等价物。
• 通过归一化样本统计量几乎必然收敛至其总体对应物，建立了估计器中迹和二次型的收敛性。