[论文解读] Fast algorithm for robust subspace recovery.

Gilad Lerman, Tyler Maunu|arXiv (Cornell University)|Jun 24, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 3

一句话总结

本文提出快速中位数子空间（FMS），一种在存在异常值的高维数据中实现鲁棒子空间恢复的计算高效算法。通过利用基于中位数的优化，FMS 在计算速度上优于现有方法，且在准确率方面表现具有竞争力，尤其在存在显著污染的大规模数据集上表现更优。

ABSTRACT

This paper presents a fast algorithm for robust subspace recovery. The datasets considered include points drawn around a low-dimensional subspace of a higher dimensional ambient space, and a possibly large portion of points that do not lie nearby this subspace. The proposed algorithm, which we refer to as Fast Median Subspace (FMS), is designed to robustly determine the underlying subspace of such datasets, while having lower computational complexity than existing methods. Numerical experiments on synthetic and real data demonstrate its competitive speed and accuracy. 1

研究动机与目标

• 解决从被大量异常值污染的高维数据中恢复低维子空间的挑战。
• 在不牺牲准确度的前提下，降低现有鲁棒子空间恢复算法的计算复杂度。
• 开发一种可高效扩展至大规模数据集的方法，同时保持对严重污染的鲁棒性。
• 为现有计算成本高昂、难以应用于实时或大规模场景的方法提供一种实用的替代方案。

提出的方法

• FMS 采用基于中位数的优化策略，在子空间估计过程中最小化异常值的影响。
• 该算法使用一种快速的迭代重加权方案，相比传统鲁棒回归技术，显著降低了计算开销。
• 它利用高维空间中位数的几何特性，以稳健方式识别内点并估计潜在子空间。
• 该方法通过使用对大偏差敏感的鲁棒代价函数，在子空间估计与异常值检测之间交替迭代。
• FMS 的设计注重计算效率，采用高效的矩阵运算，并在每次迭代中避免昂贵的 SVD 分解。
• 该算法从一个随机子空间初始化，并通过使用鲁棒目标函数迭代优化估计结果。

实验结果

研究问题

• RQ1 是否能够实现一种鲁棒子空间恢复算法，在保持高准确度的同时，显著降低计算复杂度？
• RQ2 当处理异常值比例较高的数据集时，FMS 在速度和准确度方面的表现如何？
• RQ3 与传统的基于 L1 或 L2 的方法相比，FMS 中基于中位数的优化是否能提供对严重污染更强的鲁棒性？
• RQ4 与最先进方法相比，FMS 在大规模数据集上的可扩展性如何？

主要发现

• FMS 在合成数据集和真实世界数据集上均实现了具有竞争力的子空间恢复准确度，即使在高达 50% 的数据点为异常值的情况下仍表现良好。
• 该算法在高维数据且样本量庞大的情况下，显著快于现有的鲁棒子空间恢复方法。
• 数值实验表明，FMS 在各种噪声水平和异常值比例下均保持稳定性能。
• 在计算效率方面，FMS 显著优于基线方法，在大规模数据集上实现了数倍的速度提升。