[论文解读] Measuring and Improving the Use of Graph Information in Graph Neural Networks

Yifan Hou, Jian Zhang+5 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Graph Neural Networks参考文献 60被引用 72

一句话总结

该论文引入两种图平滑度度量来量化邻域信息对GNN的有用程度以及用途，并提出CS-GNN，一种利用这些度量来有条件聚合邻居信息的模型，在各类图上提升性能。

ABSTRACT

Graph neural networks (GNNs) have been widely used for representation learning on graph data. However, there is limited understanding on how much performance GNNs actually gain from graph data. This paper introduces a context-surrounding GNN framework and proposes two smoothness metrics to measure the quantity and quality of information obtained from graph data. A new GNN model, called CS-GNN, is then designed to improve the use of graph information based on the smoothness values of a graph. CS-GNN is shown to achieve better performance than existing methods in different types of real graphs.

研究动机与目标

• 激发理解GNN从图数据中获得多少性能提升的需求。
• 定义两种平滑度度量以量化邻域信息的数量（λ_f）和质量（λ_l）。
• 提出利用平滑度来有条件聚合邻域信息的CS-GNN。
• 证明CS-GNN在真实世界图上具有优越或有竞争力的性能。

提出的方法

• 定义一个情境-包围的GNN框架，每轮有两个映射：c_v^{(k)} = f1(c_v^{(k-1)}, s_v^{(k-1)}) 和 s_v^{(k-1)} = f2(sum_{v' in N_v} a_{i,j}^{(k-1)} c_{v'}^{(k-1)}).
• 引入两种平滑度度量：特征平滑度λ_f用于衡量来自周围的信息增益，标签平滑度λ_l用于衡量来自周围的潜在负干扰。
• 推导均值聚合器下λ_f与KL散度D_KL(S||C)之间的关系（定理4）。
• 提出带有乘性注意力的CS-GNN；系数a_{i,j}^{(k)}通过邻居-上下文交互计算，结合λ_f和λ_l以抑制嘈杂的邻居并调整表征维度。
• 将CS-GNN扩展为在注意力和最终预测中加入局部拓扑特征等边信息（GraphWave启发的拓扑特征）。
• 提供在真实图上相对于GCN、GraphSAGE、GAT以及基于拓扑/特征的基线的对比实验设置。

实验结果

研究问题

• RQ1 我们如何量化给定图和任务中邻域信息的有用性？
• RQ2 两个平滑度度量（特征平滑度和标签平滑度）是否与信息增益和任务性能相关？
• RQ3 CS-GNN能否利用这些平滑度度量来有条件地聚合邻居并在多样化图上提升性能？

主要发现

• 提出的两种平滑度度量量化来自邻域的信息量（λ_f）和信息质量（λ_l）。
• 当使用均值聚合时，λ_f与信息增益正相关（D_KL(S||C)随λ_f增加而增加；λ_f=0时为零）。
• 更高的λ_l（更多跨标签边）表示来自周围的负干扰更大；减少此类边可提升性能。
• 与GCN、GraphSAGE、GAT及拓扑/特征基线相比，CS-GNN在Citeseer、Cora、PubMed、Amazon和BGP数据集上持续实现具有竞争力或更优的节点分类性能。
• 在CS-GNN的注意力中加入边信息（局部拓扑特征）可以实现，而并非一定是提升的必要条件。
• 在λ_f较大且λ_l较小时，CS-GNN（结合平滑度引导的注意力）在图上表现出显著提升，尤其是在传统GNN难以取得良好表现的情形。