[论文解读] Subspace Clustering with Missing and Corrupted Data

Zachary Charles, Amin Jalali+1 more|arXiv (Cornell University)|Jul 8, 2017

Face and Expression Recognition参考文献 4被引用 8

一句话总结

本文提出了一种鲁棒的稀疏子空间聚类（LS-SSC）变体，通过最小化ℓ₁-范数正则化与最小二乘损失的组合，处理缺失和损坏的数据。该方法在比以往分析更高的噪声和缺失数据水平下建立了子空间检测的理论保证，可容忍每样本高达O(n/d)个缺失条目以及ℓ₂噪声上限为O(1/√d)，显著优于以往工作所要求的d ≲ √n条件。

ABSTRACT

Given full or partial information about a collection of points that lie close to a union of several subspaces, subspace clustering refers to the process of clustering the points according to their subspace and identifying the subspaces. One popular approach, sparse subspace clustering (SSC), represents each sample as a weighted combination of the other samples, with weights of minimal $\ell_1$ norm, and then uses those learned weights to cluster the samples. SSC is stable in settings where each sample is contaminated by a relatively small amount of noise. However, when there is a significant amount of additive noise, or a considerable number of entries are missing, theoretical guarantees are scarce. In this paper, we study a robust variant of SSC and establish clustering guarantees in the presence of corrupted or missing data. We give explicit bounds on amount of noise and missing data that the algorithm can tolerate, both in deterministic settings and in a random generative model. Notably, our approach provides guarantees for higher tolerance to noise and missing data than existing analyses for this method. By design, the results hold even when we do not know the locations of the missing data; e.g., as in presence-only data.

研究动机与目标

• 开发一种鲁棒的子空间聚类方法，使其在数据包含显著缺失条目或加性噪声时仍保持有效性。
• 为在现实数据损坏和缺失场景下的子空间检测提供理论保证。
• 改进现有稀疏子空间聚类中对噪声和缺失数据容忍度的理论边界。
• 分析LS-SSC在无需已知缺失数据位置的情况下（包括仅有存在数据的情形）的性能。

提出的方法

• 通过结合ℓ₁-范数最小化与最小二乘拟合的正则化优化问题，构建一种鲁棒的稀疏子空间聚类变体（LS-SSC）。
• 提出一种无需投影步骤的对偶证书方法，导出新的不相干性定义并获得更紧致的理论边界。
• 分析确定性和随机生成模型，推导出子空间检测性质成立的条件。
• 利用概率浓度不等式界定了受损或缺失分量的范数，确保子空间之间的几何分离。
• 推导出保证成功聚类的噪声水平和缺失数据率的显式阈值。
• 对学习到的系数矩阵|C| + |C|ᵀ应用谱聚类以恢复子空间簇。

实验结果

研究问题

• RQ1 LS-SSC在高比例缺失数据和加性噪声下是否仍能保持子空间检测？
• RQ2 LS-SSC在保证正确聚类的前提下，可容忍的最大噪声水平或缺失条目数量是多少？
• RQ3 所提出的方法在存在损坏和缺失性情况下，如何改进现有SSC理论边界的？
• RQ4 当缺失数据位置未知时（如仅有存在数据的情形），该方法是否仍有效？
• RQ5 理论保证能否推广至随机子空间和其中的均匀采样点？

主要发现

• LS-SSC在ℓ₂范数受O(1/√d)限制的加性噪声下实现子空间检测，优于以往的O(1/d)边界。
• 该方法可容忍每样本高达O(n/d)个缺失条目，显著超过以往分析的O(n/d²)限制。
• 即使在缺失数据位置未知的情况下，理论保证依然成立，使其适用于仅有存在数据的情形。
• 通过在对偶证书构造中去除投影步骤，实现了更优的噪声容忍度与子空间维度之间的权衡。
• 分析表明，存在一个非空的正则化参数λ区间，使得LS-SSC以高概率产生非平凡且正确的聚类结果。
• 在高维设置下，当子空间维度d与环境维度n成比例时，该方法依然有效，而以往工作要求d ≲ √n。