[論文レビュー] Knowledge Graph Embedding using Graph Convolutional Networks with Relation-Aware Attention

Nasrullah Sheikh, Xiao Qin+4 more|arXiv (Cornell University)|Feb 14, 2021

Advanced Graph Neural Networks参考文献 22被引用数 7

ひとこと要約

この論文は、グラフ畳み込みネットワークにおける特徴集約の過程で、隣接エンティティの関係タイプに基づいて動的に重みを割り当てる関係に注意を払うグラフアテンション機構RelAttを提案する。この手法により、関係の意味的性質を活用することで、リンク予測および教師なしエンティティマッチングの性能が向上し、特に低文脈条件下でも最先端のベースラインを上回る。

ABSTRACT

Knowledge graph embedding methods learn embeddings of entities and relations in a low dimensional space which can be used for various downstream machine learning tasks such as link prediction and entity matching. Various graph convolutional network methods have been proposed which use different types of information to learn the features of entities and relations. However, these methods assign the same weight (importance) to the neighbors when aggregating the information, ignoring the role of different relations with the neighboring entities. To this end, we propose a relation-aware graph attention model that leverages relation information to compute different weights to the neighboring nodes for learning embeddings of entities and relations. We evaluate our proposed approach on link prediction and entity matching tasks. Our experimental results on link prediction on three datasets (one proprietary and two public) and results on unsupervised entity matching on one proprietary dataset demonstrate the effectiveness of the relation-aware attention.

研究の動機と目的

• 既存のグラフ畳み込みネットワークが、関係タイプにかかわらずすべての隣接ノードに等しい重みを割り当ててしまうという制限を解消すること。
• アテンション機構に関係固有の意味的性質を組み込むことで、エンティティおよび関係の表現学習を向上させること。
• 関係に注意を払うアテンション機構を用いて、リンク予測および教師なしエンティティマッチングの性能を向上させること。
• 未観測のノードにも一般化可能な帰納的モデルを構築すること。

提案手法

• エンティティ特徴と関係タイプの両方に基づいてアテンションスコアを計算する関係に注意を払うマスク付きアテンション機構を提案する。
• アテンション機構をグラフ畳み込みネットワークに統合し、特徴伝搬の過程で隣接ノードからのメッセージに動的重みを割り当てる。
• 妥当なトリプレットのスコアが不正なトリプレットよりも高くなるように最適化するスコア関数を用いる。
• 下流のエンティティマッチングタスクのため、クエリグラフ内のエンティティの埋め込みを推論するために訓練済みモデルを適用する。
• 学習済み埋め込み間のコサイン類似度を用いて、クエリグラフとリファレンスグラフ間の教師なしエンティティマッチングを実行する。
• 完全な知識グラフ上でリンク予測の目的関数を用いてエンドツーエンドに訓練し、未観測ノードへの帰納的転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関係の意味的役割を隣接ノード集約に組み込むことで、関係に注意を払うアテンション機構は知識グラフ埋め込みの性能を向上させることができるか？
• RQ2 多様なデータセットにおいて、提案されたRelAttモデルは、最先端のGCNベース手法と比較して、リンク予測でどの程度の性能を示すか？
• RQ3 文脈情報が限られている状況において、アテンション機構は教師なしエンティティマッチングの性能をどの程度向上させるか？
• RQ4 一部の隣接ノードしか利用できない低文脈クエリグラフにおいて、モデルの性能は維持されるか？

主な発見

• 独自のCompデータセットでは、RelAttはしきい値0.5でHits@1が0.7736を達成し、BERT（0.7373）およびRGCN（0.7250）を上回った。
• 低文脈しきい値（th=0.2）においても、RelAttは高い性能（Hits@1: 0.7380）を維持したのに対し、RGCNは著しく低下した（Hits@1: 0.6248）ことから、限定的文脈下でも頑健であることが示された。
• しきい値が上昇した（th=0.5）場合、RelAttはさらに向上し、Hits@10が0.8919に達した。これは、より豊かな文脈下でも優れた一般化性能を示している。
• 文脈情報が乏しい状況において、エンティティマッチングでBERTおよびRGCNを著しく上回った。これは、関係の意味的性質に基づいて近隣を重み付けできる点に起因する。
• th=0.5におけるエンティティマッチングタスクでは、RelAttはHits@30が92.45%を達成し、すべてのtop-k評価指標で優れた性能を示した。
• アブレーションの結果、関係に注意を払うアテンションが不可欠であることが判明した。関係固有の重み付けがないモデル（例：RGCN）は、特に低文脈状況で性能が劣る。