[论文解读] Deep Discriminative Latent Space for Clustering

Elad Tzoreff, О С Коган+1 more|arXiv (Cornell University)|May 28, 2018

Image and Signal Denoising Methods参考文献 13被引用 12

一句话总结

该论文提出了一种新颖的深度聚类框架，在预训练阶段通过使用判别性成对损失来优化自编码器，以学习面向聚类的潜在空间，仅用不到50个周期的较小网络在MNIST上实现了97.4%的准确率。该方法通过在训练初期优先考虑类间差异性来提升聚类性能，从而实现比以往方法更快的收敛速度和更高的准确率。

ABSTRACT

Clustering is one of the most fundamental tasks in data analysis and machine learning. It is central to many data-driven applications that aim to separate the data into groups with similar patterns. Moreover, clustering is a complex procedure that is affected significantly by the choice of the data representation method. Recent research has demonstrated encouraging clustering results by learning effectively these representations. In most of these works a deep auto-encoder is initially pre-trained to minimize a reconstruction loss, and then jointly optimized with clustering centroids in order to improve the clustering objective. Those works focus mainly on the clustering phase of the procedure, while not utilizing the potential benefit out of the initial phase. In this paper we propose to optimize an auto-encoder with respect to a discriminative pairwise loss function during the auto-encoder pre-training phase. We demonstrate the high accuracy obtained by the proposed method as well as its rapid convergence (e.g. reaching above 92% accuracy on MNIST during the pre-training phase, in less than 50 epochs), even with small networks.

研究动机与目标

• 通过使用面向聚类的目标而非仅依赖重建损失，优化自编码器预训练阶段，以提升聚类性能。
• 解决重建损失与聚类目标不一致的问题，即聚类目标是将相似数据分组并分离不相似数据。
• 通过从一开始就学习判别性潜在空间，实现聚类的更快收敛和更高准确率。
• 开发一种统一框架，联合优化表示学习与聚类，同时在整个训练过程中保持判别性特征。
• 证明当使用判别性损失进行预训练时，小型高效网络也能实现最先进水平的聚类准确率。

提出的方法

• 该方法引入了一种成对判别性损失函数，通过最小化批次中所有数据点对之间的加权相似度总和，促进类间差异性。
• 该判别性损失在自编码器预训练阶段用于优化编码器参数，替代或补充标准的重建损失。
• 在数据集平衡的假设下，该损失函数具有理论依据：大多数点对属于不同类别，因此最小化整体相似度可有效促进聚类。
• 在聚类阶段，方法同时优化判别性损失与聚类目标（例如对中心点的软分配），以保持潜在空间的判别性。
• 该框架采用交替优化策略：先更新编码器，再更新聚类分配，并对类内与类间相似度采用自适应正则化强度。
• 该方法应用于MNIST、COIL-20和COIL-100数据集，分别使用瓶颈维度为10、150和500的小型网络架构。

实验结果

研究问题

• RQ1 在自编码器预训练阶段使用判别性成对损失函数，是否能相比基于重建的预训练提升聚类准确率？
• RQ2 从训练初期就优化潜在空间中的类间差异性，是否能带来更快的收敛速度和更优的最终聚类性能？
• RQ3 当使用判别性目标进行预训练时，小型高效神经网络能否实现最先进水平的聚类准确率？
• RQ4 与现有深度聚类方法（如DEC、DBC、JULE和DSC-Net）相比，该方法在准确率和模型大小方面表现如何？
• RQ5 在整个训练过程中保持潜在空间的判别性特征，在多大程度上提升了聚类的鲁棒性与泛化能力？

主要发现

• 该方法在MNIST数据集上最终达到97.4%的聚类准确率，在COIL-20上达到92.3%，在COIL-100上达到90.3%。
• 仅在预训练阶段，该方法在50个周期内就达到超过92%的MNIST准确率，表明其收敛速度极快。
• 该方法在MNIST和COIL-20上实现了最先进性能，优于DCC、DSC-Net和DEPICT等方法。
• 在COIL-100上，该方法达到90.3%的准确率，略低于JULE的91.1%，但模型大小显著更小（12.5K参数 vs. DSC-Net的100万以上参数）。
• 该方法在小型网络上保持高性能——COIL-20和COIL-100的参数量分别约为7.5K和12.5K，证明了其可扩展性与高效性。
• 通过t-SNE可视化，潜在空间表示在预训练阶段结束时已显示出清晰的类间分离，表明判别性学习效果显著。