[论文解读] Deep clustering with concrete k-means

Boyan Gao, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 11被引用 5

一句话总结

本文提出 Concrete $k$-means (CKM)，一种新颖的端到端深度聚类框架，通过使用 Gumbel-Softmax 重参数化技巧对硬聚类分配进行反向传播，联合优化深度特征表示与 $k$-means 聚类中心。CKM 在标准基准上实现了最先进性能，同时保持了可解释的硬分配和完整的反向传播兼容性，在聚类质量与训练效率方面均优于先前方法。

ABSTRACT

We address the problem of simultaneously learning a k-means clustering and deep feature representation from unlabelled data, which is of interest due to the potential of deep k-means to outperform traditional two-step feature extraction and shallow-clustering strategies. We achieve this by developing a gradient-estimator for the non-differentiable k-means objective via the Gumbel-Softmax reparameterisation trick. In contrast to previous attempts at deep clustering, our concrete k-means model can be optimised with respect to the canonical k-means objective and is easily trained end-to-end without resorting to alternating optimisation. We demonstrate the efficacy of our method on standard clustering benchmarks.

研究动机与目标

• 为以端到端可微分方式联合学习深度特征表示与 $k$-means 聚类提供解决方案。
• 解决标准 $k$-means 目标中硬聚类分配不可微的问题，该问题阻碍了深度神经网络中的反向传播。
• 开发一种方法，在保持硬分配可解释性的同时，支持使用标准深度学习优化器进行完整端到端训练。
• 为现有依赖代理损失或交替优化的深度聚类方法提供一种有竞争力的替代方案。
• 证明所提出方法能够有效解决深度聚类与浅层 $k$-means 问题。

提出的方法

• 该方法使用 Gumbel-Softmax 重参数化技巧，对离散聚类分配进行可微分近似，从而实现通过硬分配步骤的梯度流动。
• 构建了一个可微分目标函数，直接优化标准 $k$-means 损失函数，避免了先前工作中使用的代理损失。
• 模型联合训练一个用于表征学习的深度神经网络与一个在潜在空间中的可学习聚类中心集合。
• 聚类分配通过一个 Concrete 分布计算，支持可微采样，并在训练过程中采用软到硬的温度调度策略。
• 该框架支持端到端反向传播，允许将聚类作为模块集成到更大的深度学习架构中。
• 该方法使用标准深度学习优化器进行训练，无需交替优化或启发式代理目标函数。

实验结果

研究问题

• RQ1 我们能否对 $k$-means 目标中的离散聚类分配进行反向传播，以实现深度神经网络与聚类中心的端到端训练？
• RQ2 与最先进深度聚类方法相比，所提出方法是否实现了具有竞争力的聚类性能？
• RQ3 该方法是否能在保持硬聚类分配可解释性的同时，仍实现完全可微分且可通过反向传播训练？
• RQ4 该框架在解决深度聚类与标准浅层 $k$-means 问题方面是否有效？
• RQ5 与交替优化或代理损失方法相比，该方法在训练效率与收敛速度方面表现如何？

主要发现

• 在 MNIST 上，CKM 实现了 81.4±1.8 的标准化互信息（NMI）、77.7±1.1 的调整兰德指数（ARI）与 85.4±2.1 的准确率（ACC），优于 DEC 与 DCN。
• 在 USPS 上，CKM 实现了 70.7±0.2 的 NMI、61.3±0.2 的 ARI 与 72.1±0.4 的 ACC，与 DCN 和 DEC 相当或略优。
• 在 20Newsgroups 上，CKM 实现了 46.5±1.4 的 NMI、34.1±1.6 的 ARI 与 47.3±2.3 的 ACC，表现与最先进方法相当。
• 在所比较的方法中，CKM 是唯一同时结合硬聚类分配与端到端可微训练的方法，实现了可解释性与在深度网络中模块化集成的兼顾。
• CKM 的训练速度显著快于 DCN，在 MNIST 上每轮仅需 11 秒，而 DCN 需 36 秒，且与 DEC 的速度相当。
• 该方法在浅层 $k$-means 问题上也提供了有竞争力的求解方案，在标准基准上性能可与 $k$-means++ 相媲美。