[论文解读] Theoretical Analysis of Sparse Subspace Clustering with Missing Entries

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Jan 1, 2018

Sparse and Compressive Sensing Techniques参考文献 34被引用 5

一句话总结

本文为带有缺失数据的稀疏子空间聚类（SSC）提供了理论保证，表明将零填充数据投影到被表示点的观测模式上可显著提升性能。关键洞见在于，尽管投影会增加缺失条目，但它使数据与投影子空间对齐，从而在不完整观测下实现更优的聚类效果。

ABSTRACT

Sparse Subspace Clustering (SSC) is a popular unsupervised machine learning method for clustering data lying close to an unknown union of low-dimensional linear subspaces; a problem with numerous applications in pattern recognition and computer vision. Even though the behavior of SSC for complete data is by now well-understood, little is known about its theoretical properties when applied to data with missing entries. In this paper we give theoretical guarantees for SSC with incomplete data, and analytically establish that projecting the zero-filled data onto the observation pattern of the point being expressed leads to a substantial improvement in performance. The main insight that stems from our analysis is that even though the projection induces additional missing entries, this is counterbalanced by the fact that the projected and zero-filled data are in effect incomplete points associated with the union of the corresponding projected subspaces, with respect to which the point being expressed is complete. The significance of this phenomenon potentially extends to the entire class of self-expressive methods.

研究动机与目标

• 为在存在缺失条目的数据上应用稀疏子空间聚类（SSC）建立理论性能保证。
• 分析并比较两种公式：零填充SSC（ZF-SSC）与投影-零填充SSC（PZF-SSC），其中数据先按被表示点的观测模式进行投影，再用零填充。
• 从理论上证明PZF-SSC优于ZF-SSC，即使其缺失条目更多，从而挑战了传统直觉。
• 提出一种新颖的分析框架，将噪声与数据的解耦推迟到分析后期，从而提升鲁棒性并获得更紧的界。

提出的方法

• 提出两种变体：ZF-SSC，其中缺失条目用零填充；PZF-SSC，其中数据在零填充前先投影到被表示点的观测模式上。
• 引入一个关于对偶向量欧几里得范数的新型引理，使对不完整数据SSC的理论分析更加紧密。
• 运用凸几何与高维概率工具，包括点集的内切球半径与外接球半径，刻画在缺失数据下的子空间几何结构。
• 应用随机投影的概率界与球面集中性工具，推导在随机缺失模式下的高概率性能保证。
• 推导ZF-SSC与PZF-SSC在可容忍缺失条目百分比上的确定性与概率性界。
• 使用相同框架重新审视无噪声与有噪声数据情形，获得比以往工作更强的噪声容忍度与更弱的条件。

实验结果

研究问题

• RQ1 能否为在存在缺失条目的数据上应用SSC建立理论性能保证？
• RQ2 将零填充数据投影到被表示点的观测模式上是否能提升聚类性能？如果是，原因是什么？
• RQ3 在理论界下，ZF-SSC与PZF-SSC在可容忍缺失条目水平上如何比较？
• RQ4 所提出的分析框架能否在噪声容忍度上获得比现有方法更紧的界，并在精确子空间恢复上使用更弱的条件？
• RQ5 尽管投影会增加缺失条目，但其是否能实现与底层子空间结构更好的对齐？

主要发现

• PZF-SSC在可容忍缺失条目比例上优于ZF-SSC，尽管其缺失条目更多，这是由于其与投影子空间的对齐性更好。
• 理论分析证实，将数据投影到被表示点的观测模式上可提升性能，即使增加了缺失条目数量。
• 由于采用了新颖的对偶向量范数分析并推迟噪声解耦，所提方法在噪声容忍度上优于先前工作[33]。
• 对于无噪声数据，该方法在精确子空间恢复上给出了比[22]中更弱且更易计算的条件。
• 对内切球半径与投影范数的概率界使得在随机缺失模式下可获得高概率保证，且显式依赖于数据维度与子空间结构。
• 该分析框架具有通用性，可改进SSC在一般噪声下的理论界，提供比现有方法更紧的性能保证。