[论文解读] Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders

Fengfu Li, Hong Qiao+2 more|arXiv (Cornell University)|Mar 23, 2017

Image Retrieval and Classification Techniques参考文献 34被引用 16

一句话总结

本文提出了一种统一的深度聚类框架——判别性增强聚类（Discriminatively Boosted Clustering, DBC），通过全卷积自编码器（FCAE）联合优化特征学习与软k-means聚类。通过引入一种增强判别性的分布，突出高分分配并抑制低分分配，DBC提升了聚类纯度，在基准图像数据集上实现了最先进性能。

ABSTRACT

Traditional image clustering methods take a two-step approach, feature learning and clustering, sequentially. However, recent research results demonstrated that combining the separated phases in a unified framework and training them jointly can achieve a better performance. In this paper, we first introduce fully convolutional auto-encoders for image feature learning and then propose a unified clustering framework to learn image representations and cluster centers jointly based on a fully convolutional auto-encoder and soft $k$-means scores. At initial stages of the learning procedure, the representations extracted from the auto-encoder may not be very discriminative for latter clustering. We address this issue by adopting a boosted discriminative distribution, where high score assignments are highlighted and low score ones are de-emphasized. With the gradually boosted discrimination, clustering assignment scores are discriminated and cluster purities are enlarged. Experiments on several vision benchmark datasets show that our methods can achieve a state-of-the-art performance.

研究动机与目标

• 解决传统两阶段图像聚类方法中特征学习与聚类分离导致的次优表征问题。
• 通过引入判别性增强学习策略，克服端到端聚类模型在训练初期的非判别性特征问题。
• 开发一种端到端可训练的全卷积自编码器（FCAE），消除逐层预训练需求，实现更快、更高效的特征提取。
• 在联合优化框架中整合软k-means聚类与FCAE，以提升表征质量和聚类分配准确性。
• 通过自步学习结合动态分数增强与归一化策略，在标准视觉基准上实现卓越的聚类性能。

提出的方法

• 提出一种包含卷积与转置卷积层、池化与反池化层以及批量归一化的全卷积自编码器（FCAE），支持端到端训练，无需预训练。
• 在特征学习完成后移除解码器分支，并在编码器顶部堆叠软k-means层，实现聚类与表征学习的联合优化。
• 引入一种判别性增强损失函数，对软分配分数应用幂因子α，以突出高置信度分配并抑制低置信度分配。
• 采用基于每类增强分数总和的归一化策略，$ n_j = \igsum_i s_{ij}^\alpha $，以稳定训练并提升收敛性。
• 实施一种自步学习流程，使特征与聚类分配在训练中联合优化，且增强因子α随训练轮次逐步增加。
• 通过链式法则推导反向传播梯度，实现通过软k-means层的端到端优化，支持FCAE与聚类组件的反向传播。

实验结果

研究问题

• RQ1 是否能够无需逐层预训练，实现全卷积自编码器的端到端训练，以提升特征学习效率与性能？
• RQ2 在训练过程中对软分配分数进行判别性增强，如何影响聚类纯度与整体聚类准确率？
• RQ3 不同增强分数的归一化策略对模型收敛性与性能有何影响？
• RQ4 FCAE的初始化方式如何影响DBC框架的最终聚类性能？
• RQ5 通过自步学习流程联合优化表征学习与聚类，是否能在图像聚类基准上超越顺序或非增强联合方法？

主要发现

• 所提出的FCAE在无需逐层预训练的情况下实现了图像聚类的最先进性能，支持更快、更高效的端到端训练。
• 判别性增强聚类（DBC）框架通过幂因子α突出高置信度分配，显著提升了聚类纯度与分配准确率。
• 基于$ n_j = \igsum_i s_{ij}^\alpha $的归一化策略优于恒定归一化与基于求和的归一化，带来更好的收敛性与性能表现。
• 消融实验表明，即使FCAE随机初始化，DBC仍表现良好；但若使用充分训练的FCAE进行初始化，性能可显著提升。
• 在多个基准数据集上，DBC在聚类准确率（ACC）与归一化互信息（NMI）方面均优于现有方法，包括DEC及其他统一聚类方法。
• 可视化结果证实，DBC框架能成功学习判别性特征，并形成紧凑、分离良好的聚类，验证了增强机制的有效性。