[论文解读] Deep $k$-Means: Jointly clustering with $k$-Means and learning representations

Maziar Moradi Fard, Thibaut Thonet+1 more|arXiv (Cornell University)|Jun 26, 2018

Gaussian Processes and Bayesian Inference参考文献 39被引用 259

一句话总结

DKM 同时学习数据表示和 k-Means 聚类，通过一个可微的软分配代理实现，在不牺牲重建质量的前提下实现强聚类性能。它在图像和文本数据集上超越若干深度聚类基线。

ABSTRACT

We study in this paper the problem of jointly clustering and learning representations. As several previous studies have shown, learning representations that are both faithful to the data to be clustered and adapted to the clustering algorithm can lead to better clustering performance, all the more so that the two tasks are performed jointly. We propose here such an approach for $k$-Means clustering based on a continuous reparametrization of the objective function that leads to a truly joint solution. The behavior of our approach is illustrated on various datasets showing its efficacy in learning representations for objects while clustering them.

研究动机与目标

• 通过联合学习表示和簇分配来激发并解决高维数据聚类的挑战。
• 开发一个将表示学习与 k-Means 聚类统一起来的可微分端到端优化。
• 证明 k-Means 目标的连续放松使可扩展的基于 SGD 的训练成为可能。
• 在受控、公平的条件下，与最先进的深度聚类基线进行比较。
• 在多样化数据集（图像和文本）上展示该方法的有效性。

提出的方法

• 将深度 k-Means 表述为在自编码器学习的嵌入空间中最小化重建损失和聚类损失。
• 引入基于参数化 softmax 的可微代理 Gk,f 的 k-Means 目标的连续泛化（Gk,f(hθ(x),α;R)）。
• 将 α 作为逆温度并应用确定性退火策略以逐步将分配变得更硬。
• 通过带有代理损失的 SGD 共同优化 θ（自编码器）和 R（簇中心），实现端到端训练。
• 讨论 Gk,f 的选择（包括基于 softmax 的代理）以及使代理收敛至真正硬分配的条件。
• 将预训练与退火作为初始化和簇中心初始化的策略进行考虑。

实验结果

研究问题

• RQ1 在一个可微分、端到端的框架中，k-Means 聚类和表示学习是否能够真正联合优化？
• RQ2 在 k-Means 的 argmin 的软可微代理（带退火）的情况下，是否在不进行显式离散更新的情况下实现有竞争力或更优的聚类？
• RQ3 在不同数据模态下，带连续放松的联合学习与基于预训练的深度聚类方法相比如何？
• RQ4 退火 α 对聚类质量和表示学习的影响是什么？
• RQ5 所学习的表示在聚类方面是否比分离式或传统的自编码器 + k-Means 流水线更具判别性？

主要发现

• 带退火的 DKM（DKMa）在所有数据集上超越非预训练的 DCN，在聚类质量上达到接近或优于基于预训练的方法。
• 在预训练情况下，DKMp 的结果与强基线相当甚至优于，通常在多个数据集上超过 IDEC 和 DCN。
• 通过可微代理联合学习表示和聚类在 MNIST、USPS、20NEWS 和 RCV1 上达到最先进或接近最先进的 k-Means 相关深度聚类方法的表现。
• 对代理参数 α 的退火是初始化簇中心并实现良好局部最优的有效替代预训练的方法。
• DKM 学习的嵌入空间，尤其是有预训练时，通过 t-SNE 在 USPS 上可视化显示出明显分离的簇。
• 在各数据集上，DKM 的变体始终优于标准 KM 和 AE-KM 基线，体现了联合优化的好处。