[論文レビュー] r-GAT: Relational Graph Attention Network for Multi-Relational Graphs

Chen Mei-qi, Yuan Zhang+3 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Graph Neural Networks参考文献 30被引用数 16

ひとこと要約

この論文では、多重関係的グラフのための関係固有の意味を活用して、分離された多チャネルエンティティ表現を学習する関係的グラフ自己注意ネットワーク、r-GATを提案する。クエリに適応した自己注意メカニズムを導入することで、推論中に関連する意味的側面を動的に選択でき、リンク予測およびエンティティ分類の性能を向上させるとともに、モデルの解釈可能性を高める。

ABSTRACT

Graph Attention Network (GAT) focuses on modelling simple undirected and single relational graph data only. This limits its ability to deal with more general and complex multi-relational graphs that contain entities with directed links of different labels (e.g., knowledge graphs). Therefore, directly applying GAT on multi-relational graphs leads to sub-optimal solutions. To tackle this issue, we propose r-GAT, a relational graph attention network to learn multi-channel entity representations. Specifically, each channel corresponds to a latent semantic aspect of an entity. This enables us to aggregate neighborhood information for the current aspect using relation features. We further propose a query-aware attention mechanism for subsequent tasks to select useful aspects. Extensive experiments on link prediction and entity classification tasks show that our r-GAT can model multi-relational graphs effectively. Also, we show the interpretability of our approach by case study.

研究の動機と目的

• 標準的なGATが方向付きでラベル付きの辺を持つ多重関係的グラフをモデル化する点で限界を示すのを是正すること。
• エンティティ表現を、それぞれが異なる側面（例：場所、職業、家族）に対応する複数の意味的チャネルに分離すること。
• 下流タスクに適した関連する意味的チャネルを動的に選択できるクエリに適応した選択を可能にすること。
• 関係の意味的側面に自己注意重みを結びつけることで、解釈可能性を向上させること。
• 既存のGNNと比較して、多重関係的グラフベンチマークでより優れたパフォーマンスとパrameter効率を達成すること。

提案手法

• r-GATはエンティティと関係を、それぞれが関係に適応した近傍集約を学習する複数の独立した意味的チャネルに投影する。
• 各チャネルは関係特徴を用いて自己注意重みを計算し、特定の意味的側面に関連する近隣の集約を効果的に選択できる。
• クエリに適応した自己注意メカニズムにより、クエリ関係に基づいてチャネル間で動的自己注意を計算し、表現選択を適応的に行える。
• モデルはチャネル間で多頭部自己注意メカニズムを用い、関係固有の自己注意ヘッド用の学習可能なパrameterを備える。
• 関係タイプごとに専用パrameterを導入しないことで過剰パrameter化を回避し、関係タイプ間で共有された自己注意メカニズムに依存する。
• 最終的なエンティティ表現は、クエリに適応した自己注意メカニズムによって決定される重み付き和として得られる。

実験結果

リサーチクエスチョン

• RQ1 エンティティの意味的側面を分離することで、グラフニューラルネットワークが多重関係的グラフを効果的にモデル化できるか？
• RQ2 関係固有の意味を近傍集約に統合することで、表現学習の性能を向上させられるか？
• RQ3 クエリに適応した自己注意メカニズムは、異なる下流タスクに適した関連する意味的チャネルを動的に選択できるか？
• RQ4 分離された表現は、リンク予測およびエンティティ分類における解釈可能性を向上させるか？
• RQ5 r-GATは、既存のGNNと比較して、多重関係的ベンチマークでパフォーマンスおよびパrameter効率に優れているか？

主な発見

• r-GATは、FB15k-237およびWN18RRデータセットの両方で、リンク予測およびエンティティ分類タスクにおいて最先端のパフォーマンスを達成した。
• 特に意味的分離を要する複雑な関係において、Hits@10およびHits@20の指標で顕著な向上を示した。
• 事例研究では、'live_in'や'place_of_birth'などの異なる関係が、人間の解釈的期待に一致するように、異なる意味的チャネルに焦点を当てる様子が示された。
• クエリに適応した自己注意メカニズムにより、既知の事実に対する動的自己注意が可能である：例えば、'profession'関係は職業関連のチャネルを優先し、'live_in'は場所関連の事実に焦点を当てる。
• K=8のチャネルを用いたr-GATは、単一チャネルベースライン（K=1）を上回る性能を示し、分離表現の利点を裏付けた。
• チャネル間の自己注意分布は意味的に整合的であり、類似した意味を持つ関係（例：'award_nominee'と'influence_by'）は類似した自己注意パターンを示した。