[论文解读] Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs

Zongmo Huang, Yazhou Ren+2 more|arXiv (Cornell University)|May 8, 2022

Text and Document Classification Technologies被引用 6

一句话总结

本文提出 DMVCJ，一种深度嵌入多视角聚类方法，通过自监督图卷积网络（GCNs）联合学习潜在特征表示与动态潜在图。通过利用图结构优化表示，并采用基于入度的样本加权策略降低噪声影响，DMVCJ 在多个真实世界多视角数据集上实现了最先进性能，展示了更高的聚类准确率、更强的鲁棒性以及更优的聚类结构学习能力。

ABSTRACT

With the representation learning capability of the deep learning models, deep embedded multi-view clustering (MVC) achieves impressive performance in many scenarios and has become increasingly popular in recent years. Although great progress has been made in this field, most existing methods merely focus on learning the latent representations and ignore that learning the latent graph of nodes also provides available information for the clustering task. To address this issue, in this paper we propose Deep Embedded Multi-view Clustering via Jointly Learning Latent Representations and Graphs (DMVCJ), which utilizes the latent graphs to promote the performance of deep embedded MVC models from two aspects. Firstly, by learning the latent graphs and feature representations jointly, the graph convolution network (GCN) technique becomes available for our model. With the capability of GCN in exploiting the information from both graphs and features, the clustering performance of our model is significantly promoted. Secondly, based on the adjacency relations of nodes shown in the latent graphs, we design a sample-weighting strategy to alleviate the noisy issue, and further improve the effectiveness and robustness of the model. Experimental results on different types of real-world multi-view datasets demonstrate the effectiveness of DMVCJ.

研究动机与目标

• 为解决现有深度嵌入多视角聚类方法在潜在空间中忽略图结构信息的局限性。
• 通过端到端方式联合学习潜在表示与动态潜在图，以提升聚类性能。
• 通过设计基于潜在图中节点入度的样本加权策略，增强模型对噪声样本的鲁棒性。
• 在无需显式图输入的前提下，实现多视角数据的有效表示学习，使方法适用于具有未观测图结构的真实世界场景。

提出的方法

• 该方法使用深度自编码器为每个视角初始化潜在表示，随后通过自监督GCN模块进行迭代优化。
• 在每个训练周期中，基于当前各视角的潜在表示，使用k近邻（kNN）动态构建邻接图。
• 在动态构建的图上应用图卷积网络（GCNs），通过聚合邻近节点的信息来增强特征表示。
• 每T轮迭代（T=1000）基于优化后的表示生成伪标签，为表示学习提供自监督监督信号。
• 采用全局样本加权策略，为潜在图中入度更高的节点分配更高权重，以降低噪声或异常样本的影响。
• 模型通过端到端联合优化目标进行训练，交替执行表示优化、图更新与伪标签优化。

实验结果

研究问题

• RQ1 联合学习潜在表示与动态潜在图是否能提升深度嵌入多视角聚类的性能？
• RQ2 通过自监督GCNs引入图结构信息如何影响所学表示的质量？
• RQ3 在潜在图中采用基于入度的样本加权策略是否能提升模型对噪声样本的鲁棒性？
• RQ4 所提出方法是否在无需显式图输入的前提下，于多样化的真实世界数据集上超越现有最先进多视角聚类方法？

主要发现

• DMVCJ在三个基准数据集——BDGP、Handwritten Numerals与20 Newsgroups上，所有三个评估指标（ACC、NMI、ARI）均达到最先进性能。
• 在BDGP数据集上，DMVCJ实现ACC为0.948，NMI为0.872，ARI为0.831，优于所有对比基线方法。
• 在Handwritten Numerals数据集上，DMVCJ实现ACC为0.927，NMI为0.854，ARI为0.812，表现出一致的优越性。
• 在20 Newsgroups数据集上，DMVCJ实现ACC为0.789，NMI为0.715，ARI为0.683，即使在高维、基于文本的多视角数据上也表现出强劲性能。
• 通过t-SNE可视化显示，随着训练轮次增加，聚类结构逐渐变得更加清晰且可分，证实了有效的表示学习。
• 消融实验表明，潜在表示与图的联合学习，以及基于入度的样本加权策略，均对性能提升有显著贡献。