[论文解读] Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization

Kamran Ghasedi Dizaji, Amirhossein Herandi+3 more|arXiv (Cornell University)|Apr 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 56被引用 57

一句话总结

DEPICT 通过在最小化带有簇频先验的 KL 发散的同时，联合学习一个深度嵌入和聚类，采用端到端训练并以重建损失进行正则化，从而在没有标注超参数调整的情况下实现强聚类性能和更快的运行时。

ABSTRACT

Image clustering is one of the most important computer vision applications, which has been extensively studied in literature. However, current clustering methods mostly suffer from lack of efficiency and scalability when dealing with large-scale and high-dimensional data. In this paper, we propose a new clustering model, called DEeP Embedded RegularIzed ClusTering (DEPICT), which efficiently maps data into a discriminative embedding subspace and precisely predicts cluster assignments. DEPICT generally consists of a multinomial logistic regression function stacked on top of a multi-layer convolutional autoencoder. We define a clustering objective function using relative entropy (KL divergence) minimization, regularized by a prior for the frequency of cluster assignments. An alternating strategy is then derived to optimize the objective by updating parameters and estimating cluster assignments. Furthermore, we employ the reconstruction loss functions in our autoencoder, as a data-dependent regularization term, to prevent the deep embedding function from overfitting. In order to benefit from end-to-end optimization and eliminate the necessity for layer-wise pretraining, we introduce a joint learning framework to minimize the unified clustering and reconstruction loss functions together and train all network layers simultaneously. Experimental results indicate the superiority and faster running time of DEPICT in real-world clustering tasks, where no labeled data is available for hyper-parameter tuning.

研究动机与目标

• 解决高维、大规模图像数据聚类的低效性和可扩展性问题。
• 开发一个适用于准确簇分配的深度、判别性嵌入子空间。
• 通过引入将聚类和重建损失结合在一起的统一端到端优化，消除逐层预训练。
• 通过基于自编码器的重建损失实现数据相关正则化来缓解过拟合。
• 证明在减少标注数据调优需求的同时，获得有竞争力的或更优秀的聚类性能。

提出的方法

• 提出 DEPICT，一种在多层卷积自编码器之上的多项式逻辑回归（soft-max）层的模型。
• 通过最小化模型预测与辅助目标之间的 KL 发散，以及簇频率的先验（默认均匀先验）来定义聚类目标。
• 使用交替优化：用封闭形式近似更新目标 Q（E 步），再通过对 Q 的交叉熵进行反向传播来更新网络参数（M 步）。
• 实现一个联合学习框架，所有编码器/解码器层同时训练，将重建损失作为数据相关正则化包含在内。
• 拓展到带有损坏编码器和干净编码器的去噪自编码器设置（MdA）；对干净嵌入进行聚类，而预测来自受损路径，强制实现对噪声不敏感的聚类。
• 通过一个统一目标，将聚类损失与跨所有层的重建损失结合起来，在端到端训练中实现无逐层预训练。

实验结果

研究问题

• RQ1 一个联合的深度嵌入和聚类模型是否在没有标注超参数调优的前提下，能否提高高维图像数据的聚类性能？
• RQ2 端到端的联合优化结合基于重建的正则化，是否能比非联合或逐层预训练方法得到更具辨识性的嵌入？
• RQ3 将簇频率先验纳入是否会影响深度聚类中的簇平衡和异常点规避？
• RQ4 在无监督设置下，使用去噪自编码器框架（MdA）进行噪声鲁棒聚类有哪些好处？
• RQ5 与标准图像数据集上的最先进聚类方法相比，DEPICT 在准确性和 NMI 方面如何，以及运行时间如何？

主要发现

• DEPICT 在基准图像数据集上实现了有竞争力或更优的聚类性能，且无需监督的超参数调优。
• 联合端到端训练（MdA）比非联合或逐层预训练方法得到更具辨识性的嵌入子空间。
• 将 KL 发散聚类目标与簇频率先验结合，有助于改善簇平衡并减少异常点分配。
• 重建损失作为数据相关正则化有助于防止过拟合、提升聚类的泛化能力。
• 与若干前沿深度聚类方法相比，DEPICT 在运行时间上表现更快，尤其在大规模数据集上。