[论文解读] Edge-Featured Graph Attention Network

Jun Chen, Haopeng Chen|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks参考文献 28被引用 28

一句话总结

EGATs 将 Graph Attention Networks 扩展为同时结合节点特征和边特征，采用并行的节点/边注意力和多尺度融合，在节点分类上具有竞争力，尤其在对边敏感的图上。

ABSTRACT

Lots of neural network architectures have been proposed to deal with learning tasks on graph-structured data. However, most of these models concentrate on only node features during the learning process. The edge features, which usually play a similarly important role as the nodes, are often ignored or simplified by these models. In this paper, we present edge-featured graph attention networks, namely EGATs, to extend the use of graph neural networks to those tasks learning on graphs with both node and edge features. These models can be regarded as extensions of graph attention networks (GATs). By reforming the model structure and the learning process, the new models can accept node and edge features as inputs, incorporate the edge information into feature representations, and iterate both node and edge features in a parallel but mutual way. The results demonstrate that our work is highly competitive against other node classification approaches, and can be well applied in edge-featured graph learning tasks.

研究动机与目标

• 动机：在边携带重要信息的图神经网络中，强调引入边特征的必要性。
• 提出一种对称的 EGAT 架构，使节点特征和边特征能够并行更新。
• 通过增强的注意力机制和多尺度融合策略实现边特征的整合。
• 支持同时具有离散和连续节点/边特征的图的应用。

提出的方法

• 引入包含两个模块的 EGAT 层：节点注意力和边注意力，二者并行工作以更新节点特征和边特征。
• 在注意力计算前通过可学习矩阵 W_H 和 W_E 将节点特征和边特征进行变换。
• 在节点注意力中，使用边映射矩阵 M_E 将边特征映射到边整合形式 E*，并计算依赖于 h_i、h_j 和 e_ij 的注意力权重 α_ij。
• 计算更新后的节点特征 h_i' = sigma(∑_{j∈N_i} α_ij h_j) 以及边整合后的节点特征 m_i = sigma(∑_{j∈N_i} α_ij [h_j || e_ij])。
• 在边注意力中，交换节点和边的角色以形成变换后的图，并使用 e_p、e_q 和 h_pq 来计算注意力权重 β_pq 以更新边特征 e_p'。
• 堆叠多层 EGAT，并使用合并层将所有层的多尺度边整合节点特征拼接起来，随后进行一维卷积和 softmax 进行分类。

实验结果

研究问题

• RQ1 EGATs 是否能够有效利用边特征完成节点分类任务？
• RQ2 与仅节点的 GNN 相比，边特征如何影响注意力权重和特征更新？
• RQ3 在 EGAT 中，边特征图是否更受某些 FH' : FE' 特征比的影响？
• RQ4 所提出的多尺度合并策略是否有利于捕获分层图信息？

主要发现

Method	Cora	Citeseer	Pubmed
MLP	55.1%	46.5%	71.4%
ManiReg	59.5%	60.1%	70.7%
SemeiEmb	59.0%	59.6%	71.7%
LP	68.0%	45.3%	63.0%
DeepWalk	67.2%	43.2%	65.3%
ICA	75.1%	69.1%	73.9%
Planetoid	75.7%	64.7%	77.2%
Chebyshev	81.2%	69.8%	74.4%
GCN	81.5%	70.3%	79.0%
Monet	81.7%	-	78.8%
SP-GAT*	82.5 ± 0.4%	70.8 ± 0.5%	78.1 ± 0.4%
EGAT (ours)	82.1 ± 0.7%	70.3 ± 0.5%	78.1 ± 0.4%

• EGAT 在对节点敏感的图（Cora、Citeseer、Pubmed）上取得具有竞争力的准确率，SP-GAT* 近似匹配，而在某些数据集上，EGAT 略落后，原因是边特征干扰。
• 在对边敏感的交易网络（Trade-B、Trade-M）上，EGATs 显示出显著更高的准确率，某些 FH'–FE' 配置下最佳结果约为 92.0%（Trade-B）和 85.4%（Trade-M）。
• 在注意力机制中使用边特征提升了对边敏感图的性能，表明边在分类任务中可以发挥重要作用。
• 结果表明调整 FH' 和 FE' 很重要：较小或平衡的 FH'/FE' 有利于边主导的图，而非常大的 FE' 在某些情况下可能降低性能。
• EGAT 引入的计算开销适中，但保持与 GAT 相似的可接受复杂度，使用稀疏的邻接和映射矩阵表示。