[论文解读] k-meansNet: When k-means Meets Differentiable Programming.

Xi Peng, Joey Tianyi Zhou+1 more|arXiv (Cornell University)|Aug 22, 2018

Anomaly Detection Techniques and Applications参考文献 67被引用 19

一句话总结

k-meansNet 提出了一种可微分的、可解释的神经网络形式化 k-means 聚类目标，确保收敛性、对初始化的鲁棒性以及在线适应能力。通过将 k-means 集成到可微分架构中，它实现了端到端训练并具备明确的可解释性，在具有挑战性的数据集上优于 12 种聚类方法。

ABSTRACT

In this paper, we study two challenging problems. The first one is how to implement extit{k}-means in the neural network, which enjoys efficient training based on the stochastic algorithm. The second one is how to enhance the interpretability of network design for clustering. To solve the problems, we propose a neural network which is a novel formulation of the vanilla $k$-means objective. Our contribution is in twofold. From the view of neural networks, the proposed extit{k}-meansNet is with explicit interpretability in neural processing. We could understand not only why the network structure is presented like itself but also why it could perform data clustering. Such an interpretable neural network remarkably differs from the existing works that usually employ visualization technique to explain the result of the neural network. From the view of extit{k}-means, three highly desired properties are achieved, i.e. robustness to initialization, the capability of handling new coming data, and provable convergence. Extensive experimental studies show that our method achieves promising performance comparing with 12 clustering methods on some challenging datasets.

研究动机与目标

• 将 k-means 聚类算法整合到可微分神经网络框架中，以实现高效、随机的训练。
• 通过使内部处理过程透明且可解释，提升神经网络聚类设计的可解释性。
• 实现 k-means 的三个关键特性：对初始化的鲁棒性、处理流式数据的能力以及可证明的收敛性。
• 克服依赖事后可视化进行解释的黑箱神经聚类模型的局限性。

提出的方法

• 通过使用温度控制的 softmax 将离散的聚类分配替换为软的、可微分的分配，将 k-means 表述为可微分的目标函数。
• 在神经网络中引入可学习的质心参数化方法，支持通过反向传播进行端到端优化。
• 采用硬聚类步骤的可微分松弛，使梯度能够通过聚类分配和质心更新流动。
• 采用两阶段训练过程：首先通过软分配优化聚类分配，然后通过梯度下降精炼质心。
• 应用温度退火调度，逐步从软分配过渡到硬分配，提升收敛稳定性。
• 通过将网络结构设计为与 k-means 算法的每一步直接对应，保持明确的可解释性。

实验结果

研究问题

• RQ1 k-means 聚类能否在保留其核心算法特性的前提下，有效嵌入可微分神经网络框架？
• RQ2 如何在事后可视化技术之外，进一步提升神经聚类模型的可解释性？
• RQ3 所提出的可微分 k-means 形式化是否能实现可证明的收敛性和对初始化的鲁棒性？
• RQ4 该模型能否在无需完整重训练的情况下，高效处理新输入的数据，实现在线聚类？

主要发现

• k-meansNet 通过设计实现可证明的收敛性，而许多深度聚类方法缺乏理论保证。
• 该模型对初始化表现出鲁棒性，在多个随机种子下均能稳定收敛到高质量解。
• 它支持增量学习，可在不重训练整个网络的情况下有效聚类新数据。
• 在具有挑战性的基准数据集上，k-meansNet 在聚类质量方面优于 12 种最先进的聚类方法。
• 该模型的可解释性是明确的：每个组件都直接对应一个 k-means 操作，可清晰理解网络行为。
• 可微分形式使端到端训练成为可能，且梯度稳定，优化可靠。