[论文解读] How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision

Dongkwan Kim, Alice Oh|arXiv (Cornell University)|Apr 11, 2022

Advanced Graph Neural Networks参考文献 66被引用 116

一句话总结

本论文介绍了 SuperGAT，一种自监督图注意力模型，使用边的存在性作为监督来塑造注意力，提供一种基于图同质性和平均度数选择注意力设计的方案；它在17个真实世界数据集上具泛化能力。

ABSTRACT

Attention mechanism in graph neural networks is designed to assign larger weights to important neighbor nodes for better representation. However, what graph attention learns is not understood well, particularly when graphs are noisy. In this paper, we propose a self-supervised graph attention network (SuperGAT), an improved graph attention model for noisy graphs. Specifically, we exploit two attention forms compatible with a self-supervised task to predict edges, whose presence and absence contain the inherent information about the importance of the relationships between nodes. By encoding edges, SuperGAT learns more expressive attention in distinguishing mislinked neighbors. We find two graph characteristics influence the effectiveness of attention forms and self-supervision: homophily and average degree. Thus, our recipe provides guidance on which attention design to use when those two graph characteristics are known. Our experiment on 17 real-world datasets demonstrates that our recipe generalizes across 15 datasets of them, and our models designed by recipe show improved performance over baselines.

研究动机与目标

• 评估无需监督的标准图注意力所学到的内容
• 引入基于边的自监督以提升注意力
• 比较 GO 与 DP 注意力并推导出两个增强变体（SD 和 MX）
• 分析同质性和平均度数如何影响注意力效果并提供设计方案
• 在多组真实世界与合成数据集上验证该方法

提出的方法

• 基于 GO 和 DP 注意力定义 SuperGAT 变体（GO、DP，以及提出的 SD 和 MX）
• 引入一个自监督边预测任务，使用 a_phi 和 phi_ij 来监督注意力
• 在边上使用二元交叉熵损失 (L_E)，并与节点标签损失 (L_V) 和 L2 正则化相结合，构成最终目标
• 在训练中应用负采样以平衡边对与非边对
• 在增加边预测监督的同时保持与 GAT 相同的时间/空间复杂度
• 共享多头注意力结构，并通过对学习到的表示经 sigmoid 计算边的概率

实验结果

研究问题

• RQ1 RQ1：在没有边监督的情况下，图注意力是否学习到了标签一致性？
• RQ2 RQ2：在进行边监督训练时，图注意力是否能预测边的存在？
• RQ3 RQ3：在给定图的特征（同质性和平均度）下，哪种图注意力设计最有效？
• RQ4 RQ4：从合成图推导的设计指南是否能泛化到真实世界数据集？

主要发现

• GO 在许多情景中更倾向于让注意力与标签一致
• DP 注意力在跨数据集的边预测任务中更有效地编码边的存在性
• 混合设计 (MX) 或缩放点积设计 (SD) 根据图的属性，尤其是平均度和同质性，可能优于标准的 GO 或 DP
• 基于合成实验的设计方案对大多数真实世界数据集有效（15 的 17 个），MX 在许多场景下通常提供最优性能
• 在广泛的真实世界数据集上，SuperGAT 变体通常优于基线方法（GCN、GraphSAGE、GAT，以及若干边感知基线）