[论文解读] Online Deep Clustering for Unsupervised Representation Learning

Xiaohang Zhan, Jiahao Xie+3 more|arXiv (Cornell University)|Jun 18, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 7

一句话总结

本文提出在线深度聚类（ODC），一种新颖的无监督表示学习方法，将聚类与深度网络训练整合为连续的端到端过程，避免了先前方法中不稳定的交替更新。通过维护样本和聚类中心的动态记忆，并迭代更新标签与特征，ODC 实现了显著更稳定的训练过程，并在基准数据集上取得了更优性能，包括在作为微调方法使用时提升准确率。

ABSTRACT

Joint clustering and feature learning methods have shown remarkable performance in unsupervised representation learning. However, the training schedule alternating between feature clustering and network parameters update leads to unstable learning of visual representations. To overcome this challenge, we propose Online Deep Clustering (ODC) that performs clustering and network update simultaneously rather than alternatingly. Our key insight is that the cluster centroids should evolve steadily in keeping the classifier stably updated. Specifically, we design and maintain two dynamic memory modules, i.e., samples memory to store samples labels and features, and centroids memory for centroids evolution. We break down the abrupt global clustering into steady memory update and batch-wise label re-assignment. The process is integrated into network update iterations. In this way, labels and the network evolve shoulder-to-shoulder rather than alternatingly. Extensive experiments demonstrate that ODC stabilizes the training process and boosts the performance effectively. Code: https://github.com/open-mmlab/OpenSelfSup.

研究动机与目标

• 解决由于特征聚类与网络参数更新之间交替进行而导致的深度聚类训练不稳定性问题。
• 开发一种联合聚类与表示学习框架，模拟监督学习中不间断的训练过程。
• 在无需人工标注的情况下，提升无监督表示学习的稳定性和性能。
• 通过所提出的在线聚类机制，实现自监督模型的有效微调。

提出的方法

• ODC 将标签重新分配与中心点更新整合到每次网络训练迭代中，取代了先前方法中按批次、按周期进行的聚类。
• 它维护两个动态记忆模块：样本记忆用于存储特征和伪标签，中心点记忆用于追踪不断演化的聚类中心。
• 使用当前前向传播的特征在线执行标签重新分配，无需单独的特征提取步骤。
• 通过移动平均策略对中心点进行增量式更新，以确保平滑演化并防止突变。
• 该方法实现了类似监督学习的连续、不间断训练，标签与网络参数同步演化。
• 该框架兼容标准卷积神经网络（CNN），可作为预训练后微调阶段的应用。

实验结果

研究问题

• RQ1 在训练过程中进行在线、迭代的标签重新分配，能否稳定无监督聚类中深层表示的学习？
• RQ2 将聚类整合到网络更新迭代中，与交替训练相比，对收敛性和性能有何影响？
• RQ3 ODC 在多大程度上能提升其他自监督方法预训练模型的表示质量？
• RQ4 ODC 是否能很好地泛化到现实数据集中常见的长尾数据分布？
• RQ5 ODC 能否发现超越原始 ImageNet 类别标签的有意义、语义一致的聚类？

主要发现

• ODC 的最终训练损失约为 2.0，显著低于 Deep Clustering（DC）中观察到的 2.9 损失，表明其具有更优的训练稳定性。
• ODC 中的标签切换比率随时间减少并收敛至较低水平，表明训练过程中聚类分配稳定且一致。
• 即使在高度长尾的 ImageNet 变体上，ODC 仍保持强劲性能，当最大类别样本数为最小类别样本数的 64 倍时，性能未出现显著下降。
• ODC 发现了新的语义聚类，如“手”、“脚”、“笼中动物”和“人牵狗绳”，这些在 ImageNet 原始标注中并不存在。
• 当用作微调方法时，ODC 显著提升了其他自监督方法预训练模型的性能。
• 该方法对超参数（如最小聚类大小阈值）的选择具有鲁棒性，在合理取值范围内表现一致。