[论文解读] Fast Estimation of the Median Covariation Matrix with Application to Online Robust Principal Components Analysis

Hervé Cardot, Antoine Godichon‐Baggioni|arXiv (Cornell University)|Apr 11, 2015

Advanced Statistical Methods and Models参考文献 39被引用 21

一句话总结

本文提出了一种递归的、在线的算法，用于快速估计中位协变矩阵（MCM），这是一种具有50%崩溃点的鲁棒多变量离散度度量。通过适应随机梯度和平均化技术，该方法实现了在高维、污染数据上的实时、内存高效的主成分分析，具有理论收敛保证，并在模拟实验和大规模电视观众数据集中表现出优于最小协方差确定法和投影寻踪方法的性能。

ABSTRACT

The geometric median covariation matrix is a robust multivariate indicator of dispersion which can be extended without any difficulty to functional data. We define estimators, based on recursive algorithms, that can be simply updated at each new observation and are able to deal rapidly with large samples of high dimensional data without being obliged to store all the data in memory. Asymptotic convergence properties of the recursive algorithms are studied under weak conditions. The computation of the principal components can also be performed online and this approach can be useful for online outlier detection. A simulation study clearly shows that this robust indicator is a competitive alternative to minimum covariance determinant when the dimension of the data is small and robust principal components analysis based on projection pursuit and spherical projections for high dimension data. An illustration on a large sample and high dimensional dataset consisting of individual TV audiences measured at a minute scale over a period of 24 hours confirms the interest of considering the robust principal components analysis based on the median covariation matrix. All studied algorithms are available in the R package Gmedian on CRAN.

研究动机与目标

• 开发高效递归算法，用于在高维、大样本设置下估计中位协变矩阵（MCM）。
• 实现在无需存储全部数据情况下的在线、内存高效主成分分析，适用于流式或顺序数据。
• 通过利用MCM的50%崩溃点和有界总敏感性，提升高维数据中对异常值的鲁棒性。
• 在弱矩条件下的希尔伯特空间中，为递归MCM和中位数估计器提供理论收敛结果。
• 在模拟和真实世界高维数据上，展示MCM与现有稳健主成分分析方法的竞争力。

提出的方法

• 将Cardot等人（2013）提出的随机梯度算法改进，用于在矩阵的希尔伯特空间中递归估计几何中位数和MCM。
• 引入平均化步骤（Polyak-Ruppert平均化），以提升递归MCM估计器的收敛性和精度。
• 修改随机梯度更新策略，确保每一步中MCM估计器保持半正定。
• 开发一种在线特征分解更新策略，实现在每次观测时无需完整谱分解即可计算稳健主成分。
• 采用Weiszfeld算法作为小规模数据的基线，并将其扩展为递归形式以提升可扩展性。
• 采用双时间尺度随机逼近框架，结合递减步长，确保几乎必然一致性和二次均值一致性。

实验结果

研究问题

• RQ1 能否开发出高效的递归在线算法，在不存储所有观测值的前提下，对高维数据中的中位协变矩阵进行估计？
• RQ2 在有限样本性能上，递归MCM估计器与最小协方差确定法和基于投影寻踪的稳健主成分分析相比如何？
• RQ3 在希尔伯特空间中，所提出的递归MCM和中位数估计器的理论收敛速率和一致性特性是什么？
• RQ4 能否在不每次重新计算完整谱分解的情况下，实现MCM特征空间的在线更新？
• RQ5 在高维、大规模数据集存在污染的情况下，基于MCM的稳健主成分分析是否优于经典方法，能更有效地检测主成分？

主要发现

• 在弱矩条件下，递归MCM估计器实现了几乎必然一致性和二次均值一致性，且收敛速率优于先前工作。
• 平均化步骤显著提升了递归MCM估计器的精度，有效降低了有限样本中的偏差和方差。
• 所提出的方法实现了内存高效的在线稳健主成分分析，通过增量方式更新主成分，无需完整重新计算。
• 模拟结果表明，MCM-based主成分分析在低维数据中与最小协方差确定法表现相当，在高维设置中则表现更优。
• 在24小时分钟级电视观众数据的真实应用中，MCM-based方法在存在污染和高维性的情况下，仍成功提取了稳健主成分。
• 所有算法均已实现并公开发布于CRAN上的R包Gmedian中，支持可重现性和实际部署。