[论文解读] Algorithms and Hardness for Robust Subspace Recovery

Moritz Hardt, Ankur Moitra|arXiv (Cornell University)|Nov 5, 2012

Sparse and Compressive Sensing Techniques参考文献 31被引用 32

一句话总结

本文提出了一种多项式时间算法，用于鲁棒子空间恢复，即使在对抗性异常值存在的情况下，也能识别出包含超过 d/n 的点的 d 维子空间。该算法实现了 1 - d/n 的崩溃点，证明了当内点比例低于 d/n 时，寻找子空间是小集合扩张难题，从而在效率与鲁棒性之间实现了最优权衡。

ABSTRACT

We consider a fundamental problem in unsupervised learning called \emph{subspace recovery}: given a collection of $m$ points in $\mathbb{R}^n$, if many but not necessarily all of these points are contained in a $d$-dimensional subspace $T$ can we find it? The points contained in $T$ are called {\em inliers} and the remaining points are {\em outliers}. This problem has received considerable attention in computer science and in statistics. Yet efficient algorithms from computer science are not robust to {\em adversarial} outliers, and the estimators from robust statistics are hard to compute in high dimensions. Are there algorithms for subspace recovery that are both robust to outliers and efficient? We give an algorithm that finds $T$ when it contains more than a $\frac{d}{n}$ fraction of the points. Hence, for say $d = n/2$ this estimator is both easy to compute and well-behaved when there are a constant fraction of outliers. We prove that it is Small Set Expansion hard to find $T$ when the fraction of errors is any larger, thus giving evidence that our estimator is an {\em optimal} compromise between efficiency and robustness. As it turns out, this basic problem has a surprising number of connections to other areas including small set expansion, matroid theory and functional analysis that we make use of here.

研究动机与目标

• 为解决无监督学习中计算效率与鲁棒性之间的根本矛盾，特别是针对子空间恢复问题。
• 设计一种在计算上高效且对对抗性异常值具有鲁棒性的算法，其中崩溃点定义为算法可容忍的最坏数据污染比例。
• 通过在小集合扩张假设下证明硬度结果，建立此类算法的理论极限。
• 将拟阵理论、泛函分析与组合优化中的概念相融合，推导出一种去随机化、多项式时间的解决方案。
• 证明所提出的算法在鲁棒性与效率之间实现了最佳可能权衡，该结论也得到了计算硬度结果的进一步支持。

提出的方法

• 提出一种随机的拉斯维加斯算法，通过反复采样 n 个点的子集并检查其线性相关性来识别内点。
• 采用条件 2.1：任意 n 个点的子集线性相关当且仅当其包含超过 d 个内点，从而实现对内点密集子集的检测。
• 利用组合优化中的基多面体和成员资格预言机对算法进行去随机化，借助埃德蒙兹对独立集的刻画。
• 在算法 3 中采用贪心剪枝策略，迭代减少候选点集，同时保持内点比例高于 d/n。
• 应用基多面体的强多项式时间成员资格预言机，以测试某子集的内点比例是否超过 d/n。
• 通过计算线性相关 n 个点子集中对应核向量非零分量的向量的张量，恢复真实子空间 T。

实验结果

研究问题

• RQ1 我们能否设计一种在计算效率和对抗性异常值鲁棒性方面均表现良好的子空间恢复算法？
• RQ2 任何可高效计算的估计器在子空间恢复中最多能容忍多少比例的异常值（即崩溃点）？
• RQ3 是否存在一个根本性的计算障碍，使得鲁棒子空间恢复即使近似求解也变得不可行？
• RQ4 能否利用拟阵理论与多面体组合学的技术对鲁棒子空间恢复算法进行去随机化与优化？
• RQ5 d/n 的内点比例阈值在计算硬度意义上是否最优，还是可以实现更高效的更高鲁棒性？

主要发现

• 所提出的随机算法在内点超过总点数的 d/n 时，能以期望运行时间 O(n²m) 找到真实子空间 T。
• 该算法的去随机化版本在强多项式时间内运行，并在相同的内点比例条件下正确恢复 T。
• 该算法在最优性意义上成立：当内点比例低于 d/n 时，寻找 T 是小集合扩张难题，表明不存在能容忍更多异常值的高效算法。
• 条件 2.1 确保任意 n 个点子集的线性相关性意味着内点数量较高，从而可可靠检测出内点密集的子集。
• 基多面体刻画使得成员资格测试高效可行，这对去随机化过程至关重要。
• 与 SVD 等经典方法以及最小中位数平方等鲁棒估计器相比，该算法在鲁棒性与计算效率方面均表现更优。