[论文解读] Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering

Bo Yang, Xiao Fu+2 more|arXiv (Cornell University)|Oct 15, 2016

Face and Expression Recognition参考文献 35被引用 597

一句话总结

本文提出一个 Deep Clustering Network (DCN)，通过结合一个重建项来防止平直解，联合学习非线性降维和 K-means 聚类，在若干真实数据集上展示了改进的聚类性能。

ABSTRACT

Most learning approaches treat dimensionality reduction (DR) and clustering separately (i.e., sequentially), but recent research has shown that optimizing the two tasks jointly can substantially improve the performance of both. The premise behind the latter genre is that the data samples are obtained via linear transformation of latent representations that are easy to cluster; but in practice, the transformation from the latent space to the data can be more complicated. In this work, we assume that this transformation is an unknown and possibly nonlinear function. To recover the `clustering-friendly' latent representations and to better cluster the data, we propose a joint DR and K-means clustering approach in which DR is accomplished via learning a deep neural network (DNN). The motivation is to keep the advantages of jointly optimizing the two tasks, while exploiting the deep neural network's ability to approximate any nonlinear function. This way, the proposed approach can work well for a broad class of generative models. Towards this end, we carefully design the DNN structure and the associated joint optimization criterion, and propose an effective and scalable algorithm to handle the formulated optimization problem. Experiments using different real datasets are employed to showcase the effectiveness of the proposed approach.

研究动机与目标

• 激发并制定一个可以处理非线性数据变换的联合 DR（降维）与聚类框架。
• 设计一种深度神经网络架构，在实现数据重建的同时，培养有利于聚类的潜在表示。
• 开发一个可扩展的优化算法，交替更新网络参数和聚类变量。
• 在合成数据和真实数据集上展示该方法的有效性，并与强基线方法进行比较。

提出的方法

• 提出一个联合目标函数，结合降维、通过解码网络的数据重建，以及一个 K-means 聚类正则化项。
• 使用带有编码器/解码器结构的 Deep Clustering Network (DCN)，在瓶颈层执行聚类。
• 引入重建损失以防止平凡解并促进有意义的潜在表示；该损失结合重建项和带参数 lambda 的聚类项。
• 通过交替随机梯度方法进行优化，该方法使用反向传播更新网络参数并在线分配样本到聚类，同时以平衡移动平均规则更新质心。
• 使用分层预训练对网络进行初始化，并通过在瓶颈输出上进行 K-means 来进行暖启动聚类。
• 允许灵活采用其他网络架构（例如 CNNs）和超越 K-means 的聚类标准。

实验结果

研究问题

• RQ1 通过 DNN 学得的非线性 DR 模型是否能产生比线性 DR 方法更利于 K-means 聚类的潜在表示？
• RQ2 在重建约束下联合优化 DR 与聚类是否能避免平凡解并在多样化数据集上提高聚类质量？
• RQ3 在大规模且不平衡的数据集上，提出的 DCN 相对于强基线（例如 SAE+KM、DEC、NMF+KM）的表现如何？
• RQ4 优化过程在在线/小批量设置下对真实世界数据是否具备可扩展性和有效性？
• RQ5 重建强度（lambda）和网络架构对聚类性能的影响是什么？

主要发现

• DCN 在真实数据集（如 RCV1-v2）上在多种聚类数量下持续优于基线的聚类指标。
• DCN 优于 SAE+KM，并且在许多情况下超过 DEC 及其他最先进的基线，尤其在不平衡聚类情景中。
• 在合成实验中，DCN 能恢复其他 DR 方法失败的底层有利于聚类的潜在空间。
• 重建组件有效防止平凡解并稳定联合优化，导致在训练周期内指标持续提升。
• 该方法在 MNIST（原始和预处理）和 20Newsgroup 上均展现出强劲性能，表明在图像和文本数据上的鲁棒性。