[论文解读] Deep Learning with Nonparametric Clustering

Gang Chen|arXiv (Cornell University)|Jan 13, 2015

Bayesian Methods and Mixture Models参考文献 22被引用 60

一句话总结

本文提出一种结合非参数最大间隔聚类（NMMC）的深度置信网络（DBN），用于无监督聚类，将深度特征学习与判别性、在线式、模型复杂度自适应聚类相结合。该方法首先对DBN进行预训练以学习表征，随后在表征空间中应用NMMC实现高效、可扩展的聚类并自动估计聚类数量，最后对网络进行微调，在20 Newsgroups等基准数据集上取得了最先进性能。

ABSTRACT

Clustering is an essential problem in machine learning and data mining. One vital factor that impacts clustering performance is how to learn or design the data representation (or features). Fortunately, recent advances in deep learning can learn unsupervised features effectively, and have yielded state of the art performance in many classification problems, such as character recognition, object recognition and document categorization. However, little attention has been paid to the potential of deep learning for unsupervised clustering problems. In this paper, we propose a deep belief network with nonparametric clustering. As an unsupervised method, our model first leverages the advantages of deep learning for feature representation and dimension reduction. Then, it performs nonparametric clustering under a maximum margin framework -- a discriminative clustering model and can be trained online efficiently in the code space. Lastly model parameters are refined in the deep belief network. Thus, this model can learn features for clustering and infer model complexity in an unified framework. The experimental results show the advantage of our approach over competitive baselines.

研究动机与目标

• 解决高维数据中因特征表示质量差或噪声大而导致的无监督聚类性能下降问题。
• 将深度学习的表征学习能力与非参数聚类相结合，自动推断模型复杂度（聚类数量），而无需预先指定。
• 开发一种判别性、在线式且可扩展的聚类方法，避免传统非参数贝叶斯模型（如DPM）带来的计算负担。
• 将特征学习、聚类与模型优化统一为一个端到端框架，以提升测试数据上的泛化能力。

提出的方法

• 使用贪婪学习逐层预训练深度置信网络（DBN），从原始高维输入中提取分层的低维表征。
• 在学习到的编码空间中应用非参数最大间隔聚类（NMMC），实现具有大间隔分离的判别性聚类，支持在线更新并自动发现聚类数量。
• 采用最大间隔框架将聚类标签视为隐变量，通过迭代优化聚类权重，提升判别能力。
• 利用反向传播微调DBN参数（特别是顶层权重矩阵和聚类权重），根据聚类反馈进一步优化特征表示。
• 利用NMMC的在线特性，高效扩展至大规模数据集，并在无需从头开始重新训练的情况下适应数据增长。
• 在统一的可训练流水线中结合深度学习（非线性特征抽象）与非参数贝叶斯模型（自动选择模型复杂度）的优势。

实验结果

研究问题

• RQ1 当与判别性、非参数聚类方法结合时，深度特征学习是否能提升无监督聚类性能？
• RQ2 像NMMC这样的非参数聚类方法能否高效地适配到深度学习框架中以支持端到端训练？
• RQ3 将NMMC与DBN结合是否能相比标准聚类基线在测试数据上实现更好的泛化能力？
• RQ4 该方法在无需预先指定的情况下，如何处理模型复杂度（即聚类数量）？
• RQ5 微调步骤在深度网络架构中对聚类性能的提升程度有多大？

主要发现

• 所提出的DBN+NMMC模型在20 Newsgroups数据集测试集上的Rand Index达到0.065 ± 0.025，优于DPM，并与k-means和GMM在测试性能上持平或更优。
• 微调显著提升了聚类准确率，测试集上的F值从仅预训练的0.110 ± 0.012提升至微调后的0.141 ± 0.020，表明参数优化有效。
• 在相同DBN特征学习设置下，NMMC始终优于DPM：1层DBN使测试集F值提高12%（0.141 vs. 0.126），2层DBN则提升15%（0.141 vs. 0.123）。
• 由于NMMC具备在线更新机制，该模型在时间复杂度上比DPM更高效，尤其在维度增加时优势更明显。
• 尽管完全无监督，该方法在性能上与需要预先知道K=20聚类数的监督基线（如k-means和GMM）相比仍具竞争力。
• 微调后的DBN+NMMC模型泛化能力优于仅预训练模型，表明端到端学习过程能有效对齐特征学习与聚类目标。