[論文レビュー] Edge-Featured Graph Attention Network

Jun Chen, Haopeng Chen|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks参考文献 28被引用数 28

ひとこと要約

EGATsはノードとエッジ特徴の両方を取り入れるためにGraph Attention Networksを拡張し、並列ノード/エッジ注意とマルチスケール統合を用いて、特にエッジに敏感なグラフでノード分類の性能を競合させる。

ABSTRACT

Lots of neural network architectures have been proposed to deal with learning tasks on graph-structured data. However, most of these models concentrate on only node features during the learning process. The edge features, which usually play a similarly important role as the nodes, are often ignored or simplified by these models. In this paper, we present edge-featured graph attention networks, namely EGATs, to extend the use of graph neural networks to those tasks learning on graphs with both node and edge features. These models can be regarded as extensions of graph attention networks (GATs). By reforming the model structure and the learning process, the new models can accept node and edge features as inputs, incorporate the edge information into feature representations, and iterate both node and edge features in a parallel but mutual way. The results demonstrate that our work is highly competitive against other node classification approaches, and can be well applied in edge-featured graph learning tasks.

研究の動機と目的

• ノードとエッジが重要な情報を持つグラフニューラルネットワークにエッジ特徴を組み込む必要性を動機づける。
• ノード特徴とエッジ特徴を並列に更新する対称的なEGATアーキテクチャを提案する。
• 強化されたアテンション機構とマルチスケール統合戦略を通じてエッジ特徴の統合を可能にする。
• 離散および連続のノード特徴とエッジ特徴の両方を持つグラフへ応用を許す。

提案手法

• ノード注意とエッジ注意の2ブロックを持つEGAT層を導入し、両方が並行に動作してノード特徴とエッジ特徴を更新する。
• 学習可能な行列W_HとW_Eを介してノード特徴とエッジ特徴を注意計算前に変換する。
• ノード注意では、エッジマッピング行列M_Eを用いてエッジ特徴をエッジ統合形E*へ写像し、h_i, h_j, e_ijに依存するアテンション重みalpha_ijを計算する。
• 更新されたノード特徴h_i' = σ(∑_{j∈N_i} alpha_ij h_j) およびエッジ統合ノード特徴 m_i = σ(∑_{j∈N_i} alpha_ij [h_j || e_ij])を計算する。
• エッジ注意ではノードとエッジの役割を入れ替えて変換グラフを形成し、e_p, e_q, h_pqを用いてβ_pqのアテンション重みを計算しエッジ特徴e_p'を更新する。
• 複数のEGAT層を積み重ね、マルチスケールのエッジ統合ノード特徴を全層から結合するマージ層を使用し、次に1次元畳み込みとソフトマックスで分類する。

実験結果

リサーチクエスチョン

• RQ1 EGATsはノード分類タスクでエッジ特徴を効果的に活用できるか。
• RQ2 エッジ特徴はEGATsにおけるアテンション重みと特徴更新にどのように影響し、ノードのみのGNNと比べてどう変わるか。
• RQ3 EGATsでFH' : FE'の特徴比率はどの程度でエッジ特徴のグラフが恩恵を受けるか。
• RQ4 提案されたマルチスケール統合戦略は階層的グラフ情報を捉えるのに有益か。

主な発見

手法	Cora	Citeseer	Pubmed
MLP	55.1%	46.5%	71.4%
ManiReg	59.5%	60.1%	70.7%
SemeiEmb	59.0%	59.6%	71.7%
LP	68.0%	45.3%	63.0%
DeepWalk	67.2%	43.2%	65.3%
ICA	75.1%	69.1%	73.9%
Planetoid	75.7%	64.7%	77.2%
Chebyshev	81.2%	69.8%	74.4%
GCN	81.5%	70.3%	79.0%
Monet	81.7%	-	78.8%
SP-GAT*	82.5 ± 0.4%	70.8 ± 0.5%	78.1 ± 0.4%
EGAT (ours)	82.1 ± 0.7%	70.3 ± 0.5%	78.1 ± 0.4%

• EGATsはノード感度の高いグラフ（Cora, Citeseer, Pubmed）で強力なベースラインと比較して競争力のある精度を達成し、SP-GAT*が近い性能を示し、エッジ特徴の干渉により一部データセットでEGATsがやや遅れる。
• エッジに敏感な取引ネットワーク（Trade-B, Trade-M）ではEGATsがはるかに高い精度を達成し、FH'–FE'の特定構成でBestが約92.0%（Trade-B）、85.4%（Trade-M）程度。
• アテンション機構にエッジ特徴を使用することは、エッジに敏感なグラフでの性能を向上させ、分類タスクでエッジが大きな役割を果たす可能性を示している。
• FH'とFE'の調整は重要で、FH'/FE'が小さいまたはバランスが取れているとエッジ優位なグラフに有利だが、FE'が非常に大きいと一部のケースで性能が低下する。
• EGATsは計算量の負荷を控えめに導入するが、GATと類似した複雑さを維持し、隣接行列とマッピング行列の疎表現を使用している。