[论文解读] Deep Sparse Subspace Clustering

Xi Peng, Jiashi Feng+4 more|arXiv (Cornell University)|Sep 25, 2017

Face and Expression Recognition参考文献 54被引用 26

一句话总结

本文提出深度稀疏子空间聚类（DSSC），一种新颖的深度学习框架，通过深层神经网络学习分层非线性表征，将稀疏子空间聚类（SSC）扩展至非线性子空间假设的数据，实现对不符合线性子空间假设的数据的有效子空间聚类。DSSC在四个真实世界数据集上达到最先进性能，通过结合稀疏性约束与深度特征学习，显著优于12种现有方法。

ABSTRACT

In this paper, we present a deep extension of Sparse Subspace Clustering, termed Deep Sparse Subspace Clustering (DSSC). Regularized by the unit sphere distribution assumption for the learned deep features, DSSC can infer a new data affinity matrix by simultaneously satisfying the sparsity principle of SSC and the nonlinearity given by neural networks. One of the appealing advantages brought by DSSC is: when original real-world data do not meet the class-specific linear subspace distribution assumption, DSSC can employ neural networks to make the assumption valid with its hierarchical nonlinear transformations. To the best of our knowledge, this is among the first deep learning based subspace clustering methods. Extensive experiments are conducted on four real-world datasets to show the proposed DSSC is significantly superior to 12 existing methods for subspace clustering.

研究动机与目标

• 解决传统子空间聚类方法在输入空间中假设线性数据分布的局限性。
• 通过利用深度神经网络进行非线性特征变换，实现对不满足线性子空间假设的真实世界数据的有效聚类。
• 在统一的、端到端可训练框架中，整合SSC的稀疏性原则与深度神经网络的表征能力。
• 证明深度学习在无监督子空间聚类中的可行性与优越性，特别是在非线性数据场景中。

提出的方法

• DSSC采用具有多层隐藏层的深度神经网络，学习输入数据的分层非线性表征，将其映射到子空间结构变为线性的潜在空间。
• 通过联合目标函数同时优化网络参数与自表示系数，该函数在表示矩阵上施加稀疏性约束。
• 对深度特征施加单位球面分布假设，以正则化表示并提升聚类性能。
• 最终的亲和矩阵由网络顶层学习到的稀疏表示系数构建，随后作为谱聚类的输入。
• 使用可微目标函数进行端到端训练，该函数结合重建误差与稀疏性正则化，损失函数最小化重建误差的Frobenius范数，并通过ℓ1正则化促进稀疏性。
• 网络使用tanh、sigmoid或ReLU激活函数，学习率和正则化强度等超参数通过交叉验证进行调优。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习非线性表征，使违反线性子空间假设的数据实现可行的子空间聚类？
• RQ2 与浅层模型相比，神经网络架构的深度如何影响子空间聚类的性能？
• RQ3 在DSSC框架中，哪种激活函数能产生最稳定且准确的聚类结果？
• RQ4 将稀疏性约束与深度特征学习相结合，是否能带来优于标准SSC及其他最先进方法的聚类性能？

主要发现

• DSSC在四个真实世界数据集（包括人脸图像、物体识别和手写数字识别任务）上显著优于12种现有子空间聚类方法。
• 在BF0502人脸图像数据集上，使用sigmoid激活函数的DSSC达到82.67%准确率、79.01% NMI、71.69% ARI和66.55% Fscore，各项指标分别较SSC提升3.17%、4.18%、9.32%和2.96%。
• 具有两层隐藏层的深度模型（DSSC-M=2）在所有评估指标上均持续优于仅具有一层隐藏层的浅层模型（DSSC-M=1），证实了深度的优势。
• 使用tanh激活函数的DSSC表现出最稳定的收敛行为，尽管性能并非最高，但因此被选为对比实验的默认激活函数。
• 模型在约90–100个周期后收敛，每个周期在配备i5 CPU的MacBook上耗时约2.2秒，表明对中等规模数据集具有可行的训练时间。
• 该方法对超参数选择具有鲁棒性，最优性能在tanh变体中通过学习率2^(-13)和正则化强度90实现。