[论文解读] Deep Transductive Semi-supervised Maximum Margin Clustering

Gang Chen|arXiv (Cornell University)|Jan 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 18

一句话总结

该论文提出了一种基于堆叠受限玻尔兹曼机（RBMs）的深度归纳半监督最大间隔聚类方法，通过联合学习非线性表征并利用成对约束结合有标签和无标签数据优化聚类，显著优于MNIST和COIL数据集上的最先进方法，展现出更优的聚类准确率和鲁棒性，尤其在监督信息有限时表现突出。

ABSTRACT

Semi-supervised clustering is an very important topic in machine learning and computer vision. The key challenge of this problem is how to learn a metric, such that the instances sharing the same label are more likely close to each other on the embedded space. However, little attention has been paid to learn better representations when the data lie on non-linear manifold. Fortunately, deep learning has led to great success on feature learning recently. Inspired by the advances of deep learning, we propose a deep transductive semi-supervised maximum margin clustering approach. More specifically, given pairwise constraints, we exploit both labeled and unlabeled data to learn a non-linear mapping under maximum margin framework for clustering analysis. Thus, our model unifies transductive learning, feature learning and maximum margin techniques in the semi-supervised clustering framework. We pretrain the deep network structure with restricted Boltzmann machines (RBMs) layer by layer greedily, and optimize our objective function with gradient descent. By checking the most violated constraints, our approach updates the model parameters through error backpropagation, in which deep features are learned automatically. The experimental results shows that our model is significantly better than the state of the art on semi-supervised clustering.

研究动机与目标

• 为解决线性度量学习在非线性流形聚类中的局限性，通过深度特征表示进行改进。
• 在半监督聚类框架中统一归纳学习、深度特征学习与最大间隔技术。
• 通过联合优化数据表征与聚类权重，利用成对约束提升聚类性能。
• 研究归纳学习在不同约束数量和聚类数量下的半监督聚类中的有效性。

提出的方法

• 通过贪婪的逐层方式预训练深度神经网络，利用堆叠受限玻尔兹曼机（RBMs）学习分层非线性特征。
• 通过梯度下降优化聚类目标函数，利用最违反的成对约束更新模型参数。
• 通过将无标签数据纳入优化过程，实现归纳学习，以优化聚类分配。
• 采用最大间隔框架，在尊重必须连接（must-link）和不能连接（cannot-link）约束的前提下，强制不同聚类间保持大间隔。
• 在迭代过程中交替优化数据表征与模型权重，采用联合优化策略。
• 使用成对约束（必须连接与不能连接）作为监督信号，引导非线性嵌入与聚类边界的联合学习。

实验结果

研究问题

• RQ1 当与半监督成对约束结合时，深度神经网络是否能提升非线性流形上的聚类性能？
• RQ2 在成对约束数量有限时，归纳学习如何提升聚类准确率？
• RQ3 深度特征学习与归纳学习对整体性能提升的相对贡献如何？
• RQ4 所提方法是否在基准数据集上优于现有的最先进半监督聚类方法？

主要发现

• 在MNIST和COIL-20/100数据集上，所提方法的聚类准确率和Rand指数显著优于最先进方法。
• 当成对约束数量较少时，归纳学习能带来显著的性能提升，尤其在聚类数较少的数据集中表现更明显。
• 在具有100个类的COIL-100数据集中，归纳学习的改进效果微弱，表明其有效性随聚类复杂度增加而减弱。
• COIL-100上的性能提升主要归因于深度特征学习，而非归纳学习原理，因为在高维聚类空间中维持大间隔存在困难。
• 该模型在多个数据集上表现出强鲁棒性与稳定性，尤其在约束稀疏时，凸显了表征与聚类联合优化的价值。