[论文解读] Learning A Task-Specific Deep Architecture For Clustering

Wang, Zhangyang, Shiyu Chang+3 more|arXiv (Cornell University)|Sep 1, 2015

Domain Adaptation and Few-Shot Learning参考文献 30被引用 8

一句话总结

本文提出TAGnet，一种任务特定的深度架构，通过在前馈神经网络中模拟图正则化稀疏编码，实现端到端训练并结合聚类专用损失函数。通过将稀疏编码的专业知识融入深度学习，该模型在聚类性能、可扩展性和可解释性方面表现优越，且在DTAGnet中通过引入辅助聚类任务可进一步提升性能。

ABSTRACT

While sparse coding-based clustering methods have shown to be successful, their bottlenecks in both efficiency and scalability limit the practical usage. In recent years, deep learning has been proved to be a highly effective, efficient and scalable feature learning tool. In this paper, we propose to emulate the sparse coding-based clustering pipeline in the context of deep learning, leading to a carefully crafted deep model benefiting from both. A feed-forward network structure, named TAGnet, is constructed based on a graph-regularized sparse coding algorithm. It is then trained with task-specific loss functions from end to end. We discover that connecting deep learning to sparse coding benefits not only the model performance, but also its initialization and interpretation. Moreover, by introducing auxiliary clustering tasks to the intermediate feature hierarchy, we formulate DTAGnet and obtain a further performance boost. Extensive experiments demonstrate that the proposed model gains remarkable margins over several state-of-the-art methods.

研究动机与目标

• 解决传统基于稀疏编码的聚类方法在高维、大规模数据场景下的效率低下与可扩展性不足问题。
• 将稀疏编码领域的领域知识融入深度学习，以改善模型初始化、可解释性与性能表现。
• 设计一种深度架构，联合端到端优化特征学习与聚类目标，避免复杂的双层优化。
• 通过在中间层引入辅助聚类任务，利用数据的层次结构增强表征学习。
• 证明即使辅助聚类任务在语义上无意义，也能通过粗到细的判别性特征学习提升性能。

提出的方法

• 通过将迭代图正则化稀疏编码算法重新表述为固定深度架构，构建TAGnet作为前馈深度网络。
• 使用任务特定的聚类损失函数进行端到端训练，实现特征提取与聚类的联合优化。
• 通过图拉普拉斯矩阵引入图正则化，以在学习到的稀疏编码中保持局部流形结构。
• 在中间层引入辅助聚类头（DTAGnet），通过跨任务共享反向传播来监督特征层次结构。
• 采用多任务学习目标（EML/MML），在CMU MultiPIE数据集上联合优化身份、表情与姿态聚类任务。
• 使用随机梯度下降（SGD）实现可扩展、高效的训练，具备对大规模数据集的线性可扩展性。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，以嵌入稀疏编码的归纳偏置，同时保持深度学习的效率与可扩展性？
• RQ2 与预训练或通用架构相比，使用聚类专用损失函数进行端到端训练在性能上有哪些提升？
• RQ3 在中间层引入辅助聚类任务在多大程度上提升了表征质量与最终聚类准确率？
• RQ4 辅助任务带来的性能增益是否源于更好的特征判别能力，还是源于架构的归纳偏置，即使任务本身缺乏语义意义？
• RQ5 所提出的框架是否能在CMU MultiPIE等基准数据集上，通过极少的架构修改超越最先进聚类方法？

主要发现

• 与基线模型TAGnet相比，引入辅助聚类任务的DTAGnet在身份聚类准确率上实现7个百分点的绝对提升（从21.76%提升至30.21%）。
• 该模型在性能上优于先前方法[27]，后者最佳姿态聚类准确率仅为约28%，而DTAGnet-MML达到55.38%。
• 增加辅助任务中的聚类数（从4增至20）会轻微降低性能，表明当辅助任务数量接近真实聚类数时性能达到峰值。
• 即使辅助任务在语义上无意义（如12或20个聚类），性能仍得到提升，表明收益主要源于增强的判别性特征学习，而非语义对齐。
• 由于基于稀疏编码理论，该架构在初始化与可解释性方面优于通用深度网络。
• 端到端训练过程实现了高推理效率与线性可扩展性，克服了传统稀疏编码算法的串行瓶颈。