[论文解读] Deep Subspace Clustering Networks

Pan Ji, Tong Zhang+3 more|arXiv (Cornell University)|Sep 8, 2017

Video Surveillance and Tracking Methods参考文献 43被引用 7

一句话总结

本文提出深度子空间聚类网络（DSC-Nets），一种具有可微分非线性自表达层的深度自编码器架构，能够学习数据点之间的成对亲和性，实现在非线性子空间中的无监督聚类。该方法通过端到端训练结合预训练与微调策略，显式学习数据相关的非线性映射，在人脸和物体数据集上优于当前最先进子空间聚类技术。

ABSTRACT

We present a novel deep neural network architecture for unsupervised subspace clustering. This architecture is built upon deep auto-encoders, which non-linearly map the input data into a latent space. Our key idea is to introduce a novel self-expressive layer between the encoder and the decoder to mimic the "self-expressiveness" property that has proven effective in traditional subspace clustering. Being differentiable, our new self-expressive layer provides a simple but effective way to learn pairwise affinities between all data points through a standard back-propagation procedure. Being nonlinear, our neural-network based method is able to cluster data points having complex (often nonlinear) structures. We further propose pre-training and fine-tuning strategies that let us effectively learn the parameters of our subspace clustering networks. Our experiments show that the proposed method significantly outperforms the state-of-the-art unsupervised subspace clustering methods.

研究动机与目标

• 解决线性子空间聚类方法在处理位于非线性子空间中的数据时的局限性。
• 开发一种显式学习适用于子空间聚类的非线性数据映射的深度神经网络框架。
• 引入一种可微分的自表达层，以实现数据点之间成对亲和性的端到端学习。
• 设计有效的预训练与微调策略，实现在数据量有限情况下的无监督网络训练。
• 在ORL、Extended Yale B、COIL20和COIL100等挑战性数据集上展示优越的聚类性能。

提出的方法

• 该方法基于深度自编码器，通过编码器层将输入数据非线性映射到低维潜在空间。
• 在编码器与解码器之间插入一种新颖的自表达层，该层为无偏置、无激活函数的全连接层，以在子空间并集上强制实现数据的自表达性。
• 该自表达层学习将每个数据点表示为其他数据点线性组合的系数，从而形成数据相关的亲和矩阵。
• 整个网络通过反向传播进行训练，损失函数结合重构误差与正则化项以提升鲁棒性。
• 预训练通过标准自编码器训练初始化自编码器权重，随后通过完整DSC-Net目标进行微调以优化聚类性能。
• 对于数据量有限的数据集，优先采用通道数增加的浅层网络（维度提升）而非深层瓶颈架构，以减少过拟合。

实验结果

研究问题

• RQ1 深度神经网络架构是否能有效学习无监督聚类所需的非线性子空间结构，而无需依赖预定义的核函数？
• RQ2 如何将子空间聚类的自表达性特性嵌入可微分的深度学习框架中？
• RQ3 何种训练策略能够实现在数据量有限情况下的无监督端到端聚类参数学习？
• RQ4 所提出方法是否在直线性与非线性数据流形上均优于现有最先进子空间聚类技术？
• RQ5 为何在COIL20与COIL100等物体图像数据集上，浅层维度提升网络的表现优于深层瓶颈网络？

主要发现

• 在ORL数据集上，DSC-Net-L2的聚类误差为5.34%，约为最佳基线方法（AE+EDSC）误差率的三分之一。
• 在COIL20上，所提方法实现了5.34%的误差率，显著低于[36]报告的14.24%误差率。
• 在COIL100上，DSC-Net-L2在所有对比方法中达到最低误差率，展现出对复杂物体图像数据的强大泛化能力。
• 采用通道数逐层增加的浅层维度提升网络优于深层瓶颈架构，原因在于更高的参数效率与更低的过拟合风险。
• 预训练与微调策略有效支持了在ORL等小样本数据集上的训练，克服了数据稀缺的挑战。
• 可微分自表达层成功学习了数据相关的亲和性，使聚类性能显著优于基于核函数与传统自表达方法。