[论文解读] A Critique of Self-Expressive Deep Subspace Clustering

Benjamin D. Haeffele, Chong You+1 more|arXiv (Cornell University)|Oct 8, 2020

Face and Expression Recognition参考文献 44被引用 10

一句话总结

本文批判了自表达深度子空间聚类（SEDC）方法，表明其优化过程病态，可能导致嵌入退化，使数据点坍塌至近原点或共线配置，从而损害聚类性能。作者证明，先前工作中报告的性能提升主要源于临时后处理，而非深度模型本身，并通过理论分析和在合成与真实数据集上的实验验证了这一点。

ABSTRACT

Subspace clustering is an unsupervised clustering technique designed to cluster data that is supported on a union of linear subspaces, with each subspace defining a cluster with dimension lower than the ambient space. Many existing formulations for this problem are based on exploiting the self-expressive property of linear subspaces, where any point within a subspace can be represented as linear combination of other points within the subspace. To extend this approach to data supported on a union of non-linear manifolds, numerous studies have proposed learning an embedding of the original data using a neural network which is regularized by a self-expressive loss function on the data in the embedded space to encourage a union of linear subspaces prior on the data in the embedded space. Here we show that there are a number of potential flaws with this approach which have not been adequately addressed in prior work. In particular, we show the model formulation is often ill-posed in that it can lead to a degenerate embedding of the data, which need not correspond to a union of subspaces at all and is poorly suited for clustering. We validate our theoretical results experimentally and also repeat prior experiments reported in the literature, where we conclude that a significant portion of the previously claimed performance benefits can be attributed to an ad-hoc post processing step rather than the deep subspace clustering model.

研究动机与目标

• 识别依赖神经网络学习嵌入并由自表达损失正则化的自表达深度子空间聚类（SEDC）方法中的根本缺陷。
• 证明SEDC中的优化问题病态，导致嵌入空间中数据点坍塌至原点或形成共线构型的退化解。
• 通过展示观察到的性能提升主要源于后处理而非深度模型本身，挑战先前关于SEDC性能优越性的主张。
• 提供理论和实证证据，表明在使用神经网络嵌入时，自表达属性无法在非线性流形上可靠保持子空间结构。
• 倡导在解释SEDC及类似架构的结果时保持谨慎，特别是当性能提升被归因于模型而非后处理步骤时。

提出的方法

• 对SEDC目标函数的理论分析表明，其病态，存在嵌入坍塌至原点或形成共线构型的临界点。
• 作者推导了优化导致退化解的条件，特别是在编码器中使用归一化层（如实例归一化、批量归一化或数据集归一化）时。
• 通过分析系数矩阵C和自编码器潜在空间中嵌入数据Z的行为，研究了优化动力学。
• 在合成和真实数据集（如MNIST、CIFAR-10、STL-10）上进行实验，采用三种变体：原始数据（无自编码器）、仅自编码器（冻结编码器/解码器）和完整SEDS C（端到端训练）。
• 在所有方法中统一应用相同的后处理步骤，以隔离模型与后处理伪影的影响。
• 使用邻近梯度下降优化完整目标函数，将自表达项F(Z,C)与正则化项θ(C)分别处理。

实验结果

研究问题

• RQ1 自表达深度子空间聚类的目标函数是否良定？是否会引发嵌入空间中的退化解？
• RQ2 编码器中归一化层（如实例归一化、批量归一化、数据集归一化）在多大程度上加剧了SEDC中的退化？
• RQ3 先前SEDC研究中报告的性能提升在多大程度上可归因于深度模型，而非临时后处理步骤？
• RQ4 当数据在非线性流形上经神经网络嵌入后，自表达属性能否可靠保持子空间结构？
• RQ5 在何种条件下，SEDC中的系数矩阵C无法表示有意义的子空间内关系？

主要发现

• SEDC的优化问题病态，且存在退化解，其中嵌入数据点坍塌至原点附近或形成共线构型。
• 在使用批量归一化/通道归一化或数据集归一化时，完整训练后的嵌入表示近乎退化，大多数点靠近原点，且系数矩阵C中仅有两个非零条目。
• 在实例归一化下，所有嵌入点几乎完全相同且共线，证实了退化的理论预测。
• 系数矩阵C仅由少数非零条目主导，其余条目仅在对数尺度上显现，表明连接微弱或为虚假连接。
• 在比较原始数据、仅自编码器和完整SEDS C时，先前工作中观察到的性能提升主要源于后处理，而非深度模型本身。
• 在MNIST、CIFAR-10和STL-10上的实证结果表明，当统一应用后处理时，完整SEDC模型并未优于更简单的基线方法。