[论文解读] Shrinkage and spectral filtering of correlation matrices: a comparison via the Kullback-Leibler distance

Michele Tumminello, Fabrizio Lillo+1 more|ArXiv.org|Oct 2, 2007

Bayesian Methods and Mixture Models参考文献 2被引用 7

一句话总结

本文在多元正态分布和非高斯分布（学生t分布）假设下，使用Kullback-Leibler（KL）距离作为性能度量，比较了收缩法与谱滤波方法在相关矩阵上的表现。结果表明，KL距离在评估滤波精度方面非常有效：基于随机矩阵理论的谱滤波在可分系统中优于层次聚类；而收缩法尤其在使用最大似然估计器处理非高斯数据时表现出极高效率。

ABSTRACT

The problem of filtering information from large correlation matrices is of great importance in many applications. We have recently proposed the use of the Kullback-Leibler distance to measure the performance of filtering algorithms in recovering the underlying correlation matrix when the variables are described by a multivariate Gaussian distribution. Here we use the Kullback-Leibler distance to investigate the performance of filtering methods based on Random Matrix Theory and on the shrinkage technique. We also present some results on the application of the Kullback-Leibler distance to multivariate data which are non Gaussian distributed.

研究动机与目标

• 评估相关矩阵滤波技术（特别是收缩法与谱滤波）的性能，使用Kullback-Leibler（KL）距离作为度量标准。
• 评估针对高斯分布变量推导出的KL距离结果在应用于非高斯数据（特别是多元学生t分布）时是否仍然有效。
• 基于随机矩阵理论（RMT）确定谱滤波中应保留的特征值数量，并与其它滤波策略进行比较。
• 研究在非高斯数据中，最大似然估计器与皮尔逊估计器在KL距离计算中的有效性差异。
• 拓展KL距离作为高维、噪声相关矩阵中滤波算法性能度量的适用性。

提出的方法

• 使用多元正态概率密度之间的Kullback-Leibler（KL）距离来量化真实相关矩阵与估计或滤波后相关矩阵之间的差异。
• 应用基于随机矩阵理论推导出的、涉及Wishart分布样本相关矩阵（来自n个变量的有限T个样本）的KL距离期望值的解析表达式。
• 采用KL距离公式：$ K({\bf Σ}_1, {f Σ}_2) = \frac{1}{2}\left[\log{\left(\frac{|{{\bf\Sigma}_2}|}{|{{\bf\Sigma}_1}|}\right)} + \text{tr}\left({{\bf\Sigma}_2^{-1}{\bf\Sigma}_1}\right) - n\right] $，其中 $ \bf\Sigma $ 为相关矩阵。
• 通过三种方法比较滤波性能：基于随机矩阵理论（RMT）的谱滤波、基于层次聚类的滤波以及收缩估计。
• 对于非高斯数据，分别使用皮尔逊相关估计器和最大似然估计器（MLE）计算KL距离，适用于多元学生t分布变量。
• 推导并应用在学生t分布下相关矩阵的递归最大似然估计更新方程：$ \bar{C}_{ij} = \frac{n+\mu}{T} \sum_{t=1}^{T} \frac{x_i(t)x_j(t)}{\mu + \sum_{pq} x_p(t)({\bf\bar{C}}^{-1})_{pq} x_q(t)} $。

实验结果

研究问题

• RQ1 KL距离在评估相关矩阵滤波方法在恢复真实潜在相关结构方面的准确性时，作为度量指标表现如何？
• RQ2 针对高斯分布变量推导出的基于KL距离的性能度量，在应用于非高斯数据（如多元学生t分布变量）时是否仍然有效？
• RQ3 在有限样本条件下，哪种滤波方法——基于RMT的谱滤波、层次聚类还是收缩法——能将KL距离最小化至最接近真实相关矩阵？
• RQ4 在非高斯设定下，相关估计器的选择（皮尔逊估计器 vs. 最大似然估计器）如何影响KL距离？
• RQ5 谱滤波中应保留的最优特征值数量是多少？其与RMT预测值相比如何？

主要发现

• 在高斯假设下，真实相关矩阵与样本相关矩阵之间KL距离的期望值被解析推导，并与实证结果一致，验证了KL距离作为可靠性能度量的有效性。
• 对于多元学生t分布数据，使用皮尔逊估计器计算的KL距离显著高于高斯分布的理论预期，表明标准估计器表现次优。
• 当对学生t分布数据使用最大似然估计器（MLE）时，真实与估计相关矩阵之间的KL距离与高斯理论预测值高度一致，表明MLE使基于KL的度量重新具备有效性。
• 基于随机矩阵理论（RMT）的谱滤波在最小化KL距离方面表现最优，且最优保留特征值数量与RMT预测值非常接近。
• 收缩估计在降低KL距离方面极为有效，但通过Frobenius范数最小化推导出的最优收缩强度在KL距离度量下表现次优。
• 对于具有强层次相关结构的系统，层次聚类滤波优于谱滤波；而在可分（块对角）系统中，谱滤波表现更优。