[论文解读] Filtrated Spectral Algebraic Subspace Clustering

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Oct 15, 2015

Face and Expression Recognition参考文献 24被引用 6

一句话总结

本文提出了一种新型方法——滤波谱代数子空间聚类（Filtrated Spectral Algebraic Subspace Clustering, FSASC），通过构建包含每个数据点真实子空间的递减子空间序列，计算鲁棒的基于距离的亲和矩阵。该方法在噪声数据和任意维度子空间上表现出色，在Hopkins155和MNIST数据集上优于当前最先进的稀疏与低秩方法，实现了更高的类内连通性和更低的类间连通性。

ABSTRACT

Algebraic Subspace Clustering (ASC) is a simple and elegant method based on polynomial fitting and differentiation for clustering noiseless data drawn from an arbitrary union of subspaces. In practice, however, ASC is limited to equi-dimensional subspaces because the estimation of the subspace dimension via algebraic methods is sensitive to noise. This paper proposes a new ASC algorithm that can handle noisy data drawn from subspaces of arbitrary dimensions. The key ideas are (1) to construct, at each point, a decreasing sequence of subspaces containing the subspace passing through that point; (2) to use the distances from any other point to each subspace in the sequence to construct a subspace clustering affinity, which is superior to alternative affinities both in theory and in practice. Experiments on the Hopkins 155 dataset demonstrate the superiority of the proposed method with respect to sparse and low rank subspace clustering methods.

研究动机与目标

• 解决代数子空间聚类（ASC）在处理噪声数据和非等维子空间时的局限性。
• 开发一种鲁棒的子空间聚类方法，在噪声存在下仍能保持高类内连通性和低类间连通性。
• 用更优的基于距离的亲和矩阵替代角度-based亲和矩阵，以提升在不同子空间维度下的性能。
• 将代数子空间聚类的应用范围扩展至含噪声和任意维度子空间的真实世界数据。
• 为稀疏与低秩子空间聚类方法提供一种理论基础坚实、抗噪声能力强的替代方案。

提出的方法

• 针对每个数据点（参考点），构建一个滤波：即包含该点真实子空间的递减子空间序列。
• 在滤波的每一级，将所有其他点投影到当前子空间，并计算投影的ℓ2范数作为亲和度的度量。
• 利用一系列投影距离定义一种新型的基于距离的亲和矩阵，突出子空间内部关系。
• 对所得亲和矩阵应用谱聚类，得到最终聚类结果。
• 引入参数化滤波过程，以控制对噪声的敏感性与鲁棒性之间的权衡。
• 将GPCA/ASC中的角度-based亲和矩阵替换为基于距离的替代方案，以提升在不同维度子空间上的性能。

实验结果

研究问题

• RQ1 基于滤波的方法能否提升代数子空间聚类在任意维度子空间中的抗噪能力？
• RQ2 通过连续投影得到的基于距离的亲和矩阵是否优于混合维度子空间聚类中的角度-based亲和矩阵？
• RQ3 所提方法能否实现比当前最先进的稀疏与低秩方法更高的类内连通性和更低的类间连通性？
• RQ4 在噪声和高维投影条件下，该方法在Hopkins155和MNIST等真实世界数据集上的表现如何？
• RQ5 在所提出的滤波框架中，聚类准确率与计算复杂度之间存在何种权衡？

主要发现

• 在Hopkins155数据集上，FSASC在所有运动模式下的平均聚类误差为1.18%，优于SSC-raw（2.18%）、LRR（5.05%）和LSR（4.54%）在相同设置下的表现。
• 在两数字MNIST聚类中，FSASC在(1,0)对上的平均误差为0.50%，在(1,5)对上为1.11%，显著优于SASC-D和SSC-raw。
• FSASC在Hopkins155上的类间连通性降低至5%（所有运动模式），而SSC-raw为31%，SASC-D为46%，表明聚类分离能力更强。
• FSASC在Hopkins155上保持了16%的高类内连通性，证明了其在子空间内部的强凝聚力。
• FSASC在2-运动情形下显著优于SASC-D（例如，误差分别为0.80% vs. 5.65%），证实了滤波与基于距离的亲和设计的优越性。
• 尽管计算成本较高，FSASC在将784D的MNIST数据投影至13D后仍保持有效，但性能在更高维度下因子空间分离度降低而有所下降。