[论文解读] Deep Discriminative Clustering Analysis

Jianlong Chang, Yiwen Guo+4 more|arXiv (Cornell University)|May 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 75被引用 42

一句话总结

DDC 在小批量训练中，联合学习判别表示和模式关系，结合全局与局部约束，在图片、文本和音频数据集上实现最先进的聚类性能，无需事先指定簇的数量。

ABSTRACT

Traditional clustering methods often perform clustering with low-level indiscriminative representations and ignore relationships between patterns, resulting in slight achievements in the era of deep learning. To handle this problem, we develop Deep Discriminative Clustering (DDC) that models the clustering task by investigating relationships between patterns with a deep neural network. Technically, a global constraint is introduced to adaptively estimate the relationships, and a local constraint is developed to endow the network with the capability of learning high-level discriminative representations. By iteratively training the network and estimating the relationships in a mini-batch manner, DDC theoretically converges and the trained network enables to generate a group of discriminative representations that can be treated as clustering centers for straightway clustering. Extensive experiments strongly demonstrate that DDC outperforms current methods on eight image, text and audio datasets concurrently.

研究动机与目标

• 以可学习的、判别性的表示来驱动聚类，而非固定的、低层次的特征。
• 提出一个深度网络框架，在全局与局部约束下联合学习表示和模式之间的关系。
• 在不预设 k 的情况下，实现簇结构（包括簇数量）的自动估计。
• 提供收敛性的理论保证，并讨论实际的小批量优化。

提出的方法

• 将聚类建模为学习成对关系 R，使用深度网络 f(x; w) 产生判别指示特征 I = f(x; w)。
• 通过反身性、对称性和传递性来施加全局约束，使 R 与网络产生的相似性对齐。
• 将相似性分解为 g(x_i, x_j; w) = f(x_i; w) · f(x_j; w) 以确保对称性。
• 引入局部非负约束 I_h >= 0 以促进判别指示。
• 优化联合目标，将对 R 的二元交叉熵与将 R 与来自 f 的粗相似度 R̄ 联系起来的惩罚项 ε(R, R̄) 结合起来。
• 利用交替的小批量优化在固定 w 时更新 w 与 R，并利用 I 的谱聚类得到 R。
• 提供一个约束层实现，以实现指示特征并确保反身性和非负性。

实验结果

研究问题

• RQ1 在无监督环境中，深度网络能否在同时学习判别的聚类中心的同时估计模式之间的关系？
• RQ2 全局（关系层面）和局部（指示层面）约束是否能够实现收敛并提升跨多种数据模态的聚类质量？
• RQ3 是否可以不预设 k 而让数据自动推断簇数量？
• RQ4 小批量优化是否足以扩展到大规模数据集并保持收敛性保证？

主要发现

• 与传统、基于表示的以及单阶段深度聚类方法相比，DDC 在跨越图像、文本和音频的八个数据集上实现了最优性能。
• 将表示学习与聚类结合能够获得更优的性能，验证了联合学习的假设。
• DDC 通过小批量优化和深度表示处理大规模数据集和高维特征。
• 理论结果（定理 1–3）表明获得判别性聚类中心，当指示特征维数至少为 k 时可达到全局最小值，并且在独立同分布的小批量下算法收敛。
• 消融研究表明该模型能够推断（不可观察的）簇数量，并对初始化具有鲁棒性。