[論文レビュー] Relational Graph Attention Networks

Dan Busbridge, Dane Sherburn+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 38被引用数 127

ひとこと要約

本論文は Relational Graph Attention Networks (RGATs) を研究し、グラフ注意機構を関係グラフに拡張し、WIRGAT および ARGAT のバリアントを RGCN や他のベースラインと比較して、転置的および誘導的タスクで評価します。RGATs は一部の誘導的なグラフ分類タスクで限られた改良を示すものの、タスクと設定によってはスペクトル的な RGCN よりも劣ることが多いです。

ABSTRACT

We investigate Relational Graph Attention Networks, a class of models that extends non-relational graph attention mechanisms to incorporate relational information, opening up these methods to a wider variety of problems. A thorough evaluation of these models is performed, and comparisons are made against established benchmarks. To provide a meaningful comparison, we retrain Relational Graph Convolutional Networks, the spectral counterpart of Relational Graph Attention Networks, and evaluate them under the same conditions. We find that Relational Graph Attention Networks perform worse than anticipated, although some configurations are marginally beneficial for modelling molecular properties. We provide insights as to why this may be, and suggest both modifications to evaluation strategies, as well as directions to investigate for future work.

研究の動機と目的

• Relational graph attention が Relational data のノード分類とグラフ分類の性能向上につながるかを検証する。
• 2 つの RGAT 変種（Within-Relation Graph Attention と Across-Relation Graph Attention）を additive ロジットと multiplicative ロジットの下で評価する。
• 同条件とベースラインの下で RGAT を Relational Graph Convolutional Networks (RGCN) と比較する。
• Relational graph モデルに関する公正な評価と将来の課題に向けた実装とガイダンスを提供する。

提案手法

• RGAT 層を定義し、中間的な関係特有表現 g_i^(r) = H W^(r) を用いる。
• E_{i,j}^{(r)} の logits を g_i^(r) および g_j^(r) に基づいて additive または multiplicative attention で計算する。
• 二つの softmax スキームをサポートする：Within-Relation（各関係ごと）および Across-Relation（関係を横断） 。
• アテンション重み付き隣人表現を集約してノード特徴を更新する；マルチヘッド注意をサポート。
• パラメータ数を関係とヘッド全体で減らすためのベース分解を組み込む。
• 転写的ノード分類（AIFB, MUTAG）と誘導的グラフ分類（Tox21）で FEAT、WL、RDF2Vec、RGCN をベースラインとして評価する。

実験結果

リサーチクエスチョン

• RQ1 RGAT は転写的ノード分類タスクで RGCN を上回るか、あるいは競合するか？
• RQ2 WIRGAT と ARGAT、加法ロジット vs 乗法ロジットの種類は転写的タスクで利得をもたらすか？
• RQ3 RGAT は分子特性予測のような誘導的グラフ分類タスクに有利か？
• RQ4 異なる softmax スキーム（Within-Relation vs Across-Relation）が実務で Relational attention にどう影響するか？
• RQ5 Relational データセット全体で RGAT の強みと限界を示すベースラインはどれか？

主な発見

モデル	AIFB	MUTAG
FEAT	55.55	0.00
WL	80.55	80.88
RDF2Vec	88.88	67.20
RGCN	95.83	73.23
RGCN (ours)	94.64	74.15
Additive attention (C-) WIRGAT	96.86	69.37
WIRGAT	96.83	69.83
Additive attention (C-) ARGAT	93.05	63.69
ARGAT	94.01	65.54
Multiplicative attention (C-) WIRGAT	93.71	69.57
WIRGAT (mult)	92.92	69.60
Multiplicative attention (C-) ARGAT	95.89	74.38
ARGAT (mult)	96.19	73.17

• RGAT はタスクと設定に応じて RGCN と比較して競合する場合も劣る場合もある。
• AIFB（転写的）では additive WIRGAT が RGAT バリアントの中で最も良く、一定の注意機構に対するわずかな利得を示す；MUTAG では多くの場合 RGCN が RGAT より高い。
• Tox21（誘導的）では multiplicative ARGAT と multiplicative WIRGAT が RGCN をやや上回る利得を示し、特定の比較で有意な利得もある。
• 一般に、タスク種別によって additive ロジットの WIRGAT および multiplicative ロジットの ARGAT を組み合わせるのが推奨されるが、どの RGAT 変種も普遍的に RGCN を上回るわけではない。
• 転写的タスクはスペクトル法（RGCN など）や従来のグラフカーネル（WL）を優位にする場合がある一方、特定の誘導的タスクでは RGAT 変種、特に乗法的 ARGAT が恩恵を受ける可能性がある。
• 本研究は厳密なハイパーパラメータ探索、CDF、統計検定を提供し、結論を支持する。