[论文解读] Differentiable Deep Clustering with Cluster Size Constraints

Aude Genevay, Gabriel Dulac-Arnold+1 more|arXiv (Cornell University)|Oct 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 17被引用 10

一句话总结

该论文提出了一种使用正则化最优传输的可微分深度聚类框架，通过显式聚类大小约束联合学习深度嵌入和聚类分配。通过将k-means重新表述为带有熵正则化的最优传输问题，该方法实现了通过随机梯度下降进行端到端训练，在CIFAR-10和MNIST上实现了最先进的无监督准确率，且无需预训练，其性能显著优于软k-means。

ABSTRACT

Clustering is a fundamental unsupervised learning approach. Many clustering algorithms -- such as $k$-means -- rely on the euclidean distance as a similarity measure, which is often not the most relevant metric for high dimensional data such as images. Learning a lower-dimensional embedding that can better reflect the geometry of the dataset is therefore instrumental for performance. We propose a new approach for this task where the embedding is performed by a differentiable model such as a deep neural network. By rewriting the $k$-means clustering algorithm as an optimal transport task, and adding an entropic regularization, we derive a fully differentiable loss function that can be minimized with respect to both the embedding parameters and the cluster parameters via stochastic gradient descent. We show that this new formulation generalizes a recently proposed state-of-the-art method based on soft-$k$-means by adding constraints on the cluster sizes. Empirical evaluations on image classification benchmarks suggest that compared to state-of-the-art methods, our optimal transport-based approach provide better unsupervised accuracy and does not require a pre-training phase.

研究动机与目标

• 开发一种完全可微分的深度聚类方法，联合优化嵌入网络和聚类分配。
• 将显式的聚类大小约束融入深度聚类，提升在平衡数据集上的性能。
• 通过从零开始学习专用于聚类的表示，消除对预训练的需求。
• 通过使用带有熵正则化的最优传输，推广近期基于软k-means的方法。

提出的方法

• 使用熵正则化将k-means聚类重新表述为正则化最优传输问题，以实现可微性。
• 基于最优传输定义一个可微分损失函数，其依赖于嵌入参数θ和聚类参数（中心μ_k和权重w_k）。
• 使用Sinkhorn算法高效计算最优传输计划，从而支持基于梯度的优化。
• 通过将传输计划的边缘分布设置为匹配期望比例w_k，实现聚类大小约束。
• 通过随机梯度下降联合优化嵌入网络f_θ和聚类参数。
• 使用k-means初始化聚类中心，但通过在聚类索引与类别比例之间进行匹配步骤，避免错位。

实验结果

研究问题

• RQ1 能否使用带有熵正则化的最优传输构建一个完全可微分的深度聚类框架？
• RQ2 施加聚类大小约束是否能提升图像基准测试中的无监督聚类性能？
• RQ3 该方法是否能在无需嵌入网络预训练的情况下实现最先进性能？
• RQ4 该方法对熵正则化参数ε的选择有多鲁棒？
• RQ5 与软k-means相比，该方法在统计显著性和性能稳定性方面表现如何？

主要发现

• 所提出的基于最优传输的方法在CIFAR-10（p值 = 10^−12）和MNIST（p值 = 0.0067）上显著优于软k-means，表现出统计上的优越性。
• 在CIFAR-10上，即使不进行预训练，该方法的无监督准确率也高于软k-means，且预训练对性能的提升不显著。
• 在MNIST上，该方法在无预训练情况下仍显著优于软k-means，尽管预训练对软k-means的性能提升大于对最优传输方法的提升。
• 该方法对熵正则化参数ε的选择具有鲁棒性，在一系列ε值下均保持稳定性能。
• 性能提升在平衡数据集中最为显著，此时聚类大小约束的效用最大。
• 初步结果表明，聚类初始化必须与类别比例对齐，以避免施加错误的聚类大小。