[论文解读] Joint Unsupervised Learning of Deep Representations and Image Clusters

Jianwei Yang, Devi Parikh+1 more|arXiv (Cornell University)|Apr 13, 2016

Domain Adaptation and Few-Shot Learning参考文献 47被引用 145

一句话总结

一种循环框架，通过在前向传播中交替聚类，在后向传播中进行表示学习，联合无监督地学习深度 CNN 表示和图像簇，并以加权三元组损失进行优化。

ABSTRACT

In this paper, we propose a recurrent framework for Joint Unsupervised LEarning (JULE) of deep representations and image clusters. In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN). During training, image clusters and representations are updated jointly: image clustering is conducted in the forward pass, while representation learning in the backward pass. Our key idea behind this framework is that good representations are beneficial to image clustering and clustering results provide supervisory signals to representation learning. By integrating two processes into a single model with a unified weighted triplet loss and optimizing it end-to-end, we can obtain not only more powerful representations, but also more precise image clusters. Extensive experiments show that our method outperforms the state-of-the-art on image clustering across a variety of image datasets. Moreover, the learned representations generalize well when transferred to other tasks.

研究动机与目标

• 通过联合聚类推动无标签的表示学习的动机。
• 开发一个将凝聚层次聚类与深度表示学习统一起来的循环框架。
• 推导一个单一的损失函数，以端到端的方式同时引导聚类和表示学习。
• 证明在跨数据集上更好的聚类性能和可转移的表示。

提出的方法

• 用 CNN 表示图像以获得用于聚类的深度特征。
• 将凝聚层次聚类表述为一个前向传播的循环过程，在每个时间步合并簇。
• 定义一个有向亲和图，并使用图度数链接来衡量簇的亲和力。
• 引入一个结合簇亲和力和局部结构的加权三元组损失来引导学习。
• 在部分展开的周期中进行训练，交替进行前向（聚类）和后向（表示学习）传播。
• 优化一个在各周期目标之和的总损失，从而实现端到端学习。

实验结果

研究问题

• RQ1 联合无监督学习深度表示和图像簇是否能超越固定表示聚类方法？
• RQ2 在跨数据集和聚类算法下学习的表示是否能够转移，同时保持或提升聚类质量？
• RQ3 在聚类损失中加入局部簇结构如何影响优化和结果？
• RQ4 学习到的表示是否能在无标签的条件下提升面部验证和图像分类等下游任务的性能？
• RQ5 凝聚层次聚类是否适合集成到一个循环深度学习框架中？

主要发现

• 该联合方法在多个数据集上使用 NMI 作为指标超越了最先进的聚类方法。
• 学习到的表示可跨聚类算法转移，并在各种数据集上提升它们的性能。
• 在 COIL20 和 CMU-PIE 上，该方法在所报告的结果中实现了完美的 NMI (1.0)。
• 在无监督训练设置下，学习到的表示使 LFW 上的人脸验证达到具有竞争力或更优的结果。
• 迁移实验显示在一个数据集的表示用于另一个数据集时，跨数据集的聚类改进。
• 该框架产生可转移的表示，也支持使用无监督学习的图像分类管线。