[论文解读] Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning

Zhixiang Shen, Shuo Wang+1 more|arXiv (Cornell University)|Sep 25, 2024

Advanced Graph Neural Networks被引用 6

一句话总结

InfoMGF通过从多个图中细化每个视图并最大化共享信息与视图特有的任务相关信息，学习一个信息感知的融合图，在下游任务上实现强大的无监督性能。

ABSTRACT

Unsupervised Multiplex Graph Learning (UMGL) aims to learn node representations on various edge types without manual labeling. However, existing research overlooks a key factor: the reliability of the graph structure. Real-world data often exhibit a complex nature and contain abundant task-irrelevant noise, severely compromising UMGL's performance. Moreover, existing methods primarily rely on contrastive learning to maximize mutual information across different graphs, limiting them to multiplex graph redundant scenarios and failing to capture view-unique task-relevant information. In this paper, we focus on a more realistic and challenging task: to unsupervisedly learn a fused graph from multiple graphs that preserve sufficient task-relevant information while removing task-irrelevant noise. Specifically, our proposed Information-aware Unsupervised Multiplex Graph Fusion framework (InfoMGF) uses graph structure refinement to eliminate irrelevant noise and simultaneously maximizes view-shared and view-unique task-relevant information, thereby tackling the frontier of non-redundant multiplex graph. Theoretical analyses further guarantee the effectiveness of InfoMGF. Comprehensive experiments against various baselines on different downstream tasks demonstrate its superior performance and robustness. Surprisingly, our unsupervised method even beats the sophisticated supervised approaches. The source code and datasets are available at https://github.com/zxlearningdeep/InfoMGF.

研究动机与目标

• 在多路图中激励学习可靠的图结构，其中任务无关噪声可能降低性能。
• 开发一个无监督框架，在融合多个图视图的同时保留共享信息与独特的任务相关信息。
• 提出图结构细化和信息最大化目标以提升下游聚类与分类任务的性能。
• 对InfoMGF有效性提供理论保证，并展示对对抗性噪声的鲁棒性。

提出的方法

• 使用视图特定的两层注意力网络对每个视图进行细化，以获得细化后的图和节点表示。
• 使用共享的GCN编码器从细化后的图计算节点嵌入。
• 通过互信息损失Ls在视图之间最大化共享的任务相关信息，其与 I(Gi^s; Gj^s) 相当。
• 使用带随机掩蔽和可学习增强的增强图方法来最大化视图独有的任务相关信息（InfoMGF-RA 和 InfoMGF-LA）。
• 使用互信息界限（I_lb, I_ub）来优化视图之间以及融合图与细化图之间的节点级互信息。
• 通过最大化 I(G^s; G_i^s) 对所有视图，将细化视图融合成单一图 G^s，并通过最终的GCN得到 Z。

实验结果

研究问题

• RQ1 无监督学习能否在多图视图之间稳健地融合信息，以在去除噪声的同时保留任务相关信息？
• RQ2 在多路设置中，如何同时最大化共享信息与视图独有信息？
• RQ3 可学习的图增强是否有助于更好地提取视图独有信息和提升整体融合质量？
• RQ4 关于InfoMGF在捕捉任务相关信息方面的有效性存在哪些理论保证？
• RQ5 在各种下游任务和对抗扰动下，InfoMGF 相对于基线的表现如何？

主要发现

方法	ACM_NMI	ACM_ARI	ACM_ACC	ACM_F1	DBLP_NMI	DBLP_ARI	DBLP_ACC	DBLP_F1	Yelp_NMI	Yelp_ARI	Yelp_ACC	Yelp_F1	MAG_NMI	MAG_ARI	MAG_ACC	MAG_F1
InfoMGF-RA	74.89	81.09	92.82	92.89	70.19	73.49	88.72	88.31	72.67	74.66	91.85	92.86	56.65	45.25	64.13	63.09
InfoMGF-LA	76.53	81.49	93.45	93.42	73.22	78.49	91.08	90.69	75.18	78.91	93.26	94.01	-	-	-	-

• InfoMGF在 ACM、DBLP、Yelp 和 MAG 数据集的节点聚类上优于最先进的基线。
• InfoMGF-LA 结合可学习增强获得最佳聚类结果，凸显了捕获视图独有信息的好处。
• InfoMGF在随机边扰动方面对比方法显示出更好的鲁棒性。
• 融合后的图 G^s 相较于任一单视图的细化图 G_i^s，包含更多的任务相关信息（理论：Theorem 3）。
• 消融研究表明 Ls（共享信息）和 Lu（独特信息）都具有益处，其中 Lu 具有更大的影响。
• InfoMGF-LA 在多个数据集的节点分类中持续超越结构固定的监督方法。