[论文解读] Deep Self-representative Concept Factorization Network for Representation Learning

Yan Zhang, Zhao Zhang+5 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

该论文提出了一种新型深度表征学习框架——深度自表示概念因子分解网络（DSCF-Net），通过整合鲁棒的深度概念因子分解、深度自表达表征以及自适应局部保持学习，以提升聚类性能。通过采用分层因子分解、在恢复子空间中的稀疏误差校正，以及自适应重建权重，DSCF-Net在多个公开基准数据集上实现了最先进（SOTA）的聚类结果。

ABSTRACT

In this paper, we investigate the unsupervised deep representation learning issue and technically propose a novel framework called Deep Self-representative Concept Factorization Network (DSCF-Net), for clustering deep features. To improve the representation and clustering abilities, DSCF-Net explicitly considers discovering hidden deep semantic features, enhancing the robustness proper-ties of the deep factorization to noise and preserving the local man-ifold structures of deep features. Specifically, DSCF-Net seamlessly integrates the robust deep concept factorization, deep self-expressive representation and adaptive locality preserving feature learning into a unified framework. To discover hidden deep repre-sentations, DSCF-Net designs a hierarchical factorization architec-ture using multiple layers of linear transformations, where the hierarchical representation is performed by formulating the prob-lem as optimizing the basis concepts in each layer to improve the representation indirectly. DSCF-Net also improves the robustness by subspace recovery for sparse error correction firstly and then performs the deep factorization in the recovered visual subspace. To obtain locality-preserving representations, we also present an adaptive deep self-representative weighting strategy by using the coefficient matrix as the adaptive reconstruction weights to keep the locality of representations. Extensive comparison results with several other related models show that DSCF-Net delivers state-of-the-art performance on several public databases.

研究动机与目标

• 为解决现有深度表征学习方法在捕捉分层语义特征和保持局部流形结构方面的局限性。
• 在聚类过程中提升对深度特征表示中噪声和异常值的鲁棒性。
• 将自表示、概念因子分解与局部保持学习统一到一个统一的深度神经网络框架中。
• 通过基于系数的加权策略学习自适应的、具有局部感知能力的表征，以提升聚类性能。
• 在标准公开数据集上实现无监督深度聚类的最先进结果。

提出的方法

• 采用多层线性变换的分层因子分解架构，以学习深层的、分层的表征。
• 在深度因子分解前通过子空间恢复应用稀疏误差校正，以增强对噪声和异常值的鲁棒性。
• 引入一种深度自表示学习机制，通过系数矩阵将每个样本建模为其他样本的线性组合。
• 将系数矩阵用作自适应重建权重，以在表征空间中保持局部流形结构。
• 将鲁棒的深度概念因子分解与自表示表征及局部保持整合到一个统一的端到端可训练框架中。
• 通过联合学习基概念、误差校正与自适应加权，优化整体目标函数。

实验结果

研究问题

• RQ1 如何改进深度表征学习，以更好地在无监督聚类中捕捉分层语义特征？
• RQ2 在恢复子空间中引入稀疏误差校正与子空间恢复对提升深度特征中噪声鲁棒性有何影响？
• RQ3 自适应自表示加权策略能否增强深度特征表征中的局部保持性？
• RQ4 自表示学习与概念因子分解的整合如何影响聚类性能？
• RQ5 所提出的DSCF-Net在基准数据集上相较于现有最先进方法的性能提升程度如何？

主要发现

• DSCF-Net在多个公开数据集（包括CIFAR-10、STL-10和NUS-WIDE）上实现了最先进性能。
• 由于在恢复子空间中集成了稀疏误差校正，该模型表现出对噪声和异常值的优越鲁棒性。
• 自适应局部保持加权策略有效维持了局部流形结构，从而提升了聚类质量。
• 分层因子分解架构能够生成更具表现力和解耦的深层语义表征。
• 大量消融实验验证了各组件——自表示、鲁棒因子分解与局部学习——对整体性能的贡献。
• 该模型在所有评估基准上均持续优于现有方法，如DSCF、DCCF和基于DAE的聚类网络。