[论文解读] Beyond Smoothing: Unsupervised Graph Representation Learning with Edge Heterophily Discriminating

Yixin Liu, Yizhen Zheng+3 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

GREET 提出了一种无监督图表示学习方法，通过可学习的边判别器区分同质边与异质边，实现双通道表示学习。通过结合基于枢纽点的排序损失与对比学习，GREET 在同质图与异质图上均取得最先进性能，对结构攻击具有鲁棒性，并展现出优越的泛化能力。

ABSTRACT

Unsupervised graph representation learning (UGRL) has drawn increasing research attention and achieved promising results in several graph analytic tasks. Relying on the homophily assumption, existing UGRL methods tend to smooth the learned node representations along all edges, ignoring the existence of heterophilic edges that connect nodes with distinct attributes. As a result, current methods are hard to generalize to heterophilic graphs where dissimilar nodes are widely connected, and also vulnerable to adversarial attacks. To address this issue, we propose a novel unsupervised Graph Representation learning method with Edge hEterophily discriminaTing (GREET) which learns representations by discriminating and leveraging homophilic edges and heterophilic edges. To distinguish two types of edges, we build an edge discriminator that infers edge homophily/heterophily from feature and structure information. We train the edge discriminator in an unsupervised way through minimizing the crafted pivot-anchored ranking loss, with randomly sampled node pairs acting as pivots. Node representations are learned through contrasting the dual-channel encodings obtained from the discriminated homophilic and heterophilic edges. With an effective interplaying scheme, edge discriminating and representation learning can mutually boost each other during the training phase. We conducted extensive experiments on 14 benchmark datasets and multiple learning scenarios to demonstrate the superiority of GREET.

研究动机与目标

• 为解决现有无监督图表示学习（UGRL）方法仅依赖同质性假设及所有边上的平滑表示所带来的局限性。
• 提出一种无监督的边判别机制，利用节点特征与图结构区分同质边（相似节点）与异质边（不相似节点）。
• 在端到端框架中整合边判别与双通道表示学习，使两者相互增强。
• 提升模型在结构攻击下的鲁棒性，并增强在同质性失效的异质图上的泛化能力。

提出的方法

• 提出一种可学习的边判别器，利用节点特征与结构编码推断边的同质性/异质性。
• 引入基于枢纽点的排序损失，使用随机采样的节点对作为枢纽点，监督边判别任务，最小化边相似度的相对偏离程度。
• 采用双通道图编码器，从同质边与异质边中生成独立的表示，支持对比学习。
• 使用鲁棒的双通道对比损失，对齐相连节点的表示，同时分离不相似节点对的表示。
• 采用交替训练策略，使边判别与表示学习在迭代中相互促进。
• 将结构编码（如来自GNN的编码）作为边判别器的输入，以提升判别准确率。

实验结果

研究问题

• RQ1 能否仅利用节点特征与图结构，在无监督设置下有效区分同质边与异质边？
• RQ2 如何将边判别与表示学习相结合，以协同提升模型性能？
• RQ3 将同质边与异质边信号分离，是否能相比基于平滑化的标准方法，在异质图上实现更好的泛化能力？
• RQ4 所提方法在结构扰动或对抗性攻击下是否仍保持鲁棒性？

主要发现

• GREET 在14个基准数据集上达到最先进性能，在节点分类、聚类与链接预测任务中均优于现有无监督GNN方法。
• 在异质图Texas数据集上，GREET在节点分类任务中达到83.62%的准确率，显著优于GRACE（72.58%）及其他基线方法。
• 消融实验表明，移除边判别器或双通道编码会使性能下降超过5%，证实二者在模型中的关键作用。
• 基于枢纽点的排序损失提升了边判别鲁棒性，消融实验显示移除枢纽点导致Cora数据集准确率下降3.8%。
• 可视化结果表明，GREET成功在表示空间中分离同质边与异质边，异质边的相似度接近零。
• GREET在Cora数据集上对50%随机结构攻击表现出强鲁棒性，性能保持高位，而其他模型显著下降。