[論文レビュー] Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding

Yun Tang, Jing Huang+3 more|arXiv (Cornell University)|Nov 9, 2019

Advanced Graph Neural Networks参考文献 35被引用数 9

ひとこと要約

本稿では、知識グラフのリンク予測を向上させるために、グラフコンテキストモデリングを組み合わせた直交変換埋め込み（OTE）を提案する。特に、N対1、1対N、N対N関係といった困難な関係に対して有効である。RotatEを高次元の直交変換に拡張し、流入および送出の近傍ノードからの方向付きノードレベルコンテキストを統合することで、FB15k-237およびWN18RRで最先端の性能を達成し、RotatEを上回り、WN18RRでは新たなSOTAを樹立した。

ABSTRACT

Translational distance-based knowledge graph embedding has shown progressive improvements on the link prediction task, from TransE to the latest state-of-the-art RotatE. However, N-1, 1-N and N-N predictions still remain challenging. In this work, we propose a novel translational distance-based approach for knowledge graph link prediction. The proposed method includes two-folds, first we extend the RotatE from 2D complex domain to high dimension space with orthogonal transforms to model relations for better modeling capacity. Second, the graph context is explicitly modeled via two directed context representations. These context representations are used as part of the distance scoring function to measure the plausibility of the triples during training and inference. The proposed approach effectively improves prediction accuracy on the difficult N-1, 1-N and N-N cases for knowledge graph link prediction task. The experimental results show that it achieves better performance on two benchmark data sets compared to the baseline RotatE, especially on data set (FB15k-237) with many high in-degree connection nodes.

研究の動機と目的

• 知識グラフにおけるN対1、1対N、N対Nといった複雑な関係の予測という、長年の課題に取り組むこと。
• RotatEの2次元複素空間モデリングを高次元の直交変換に拡張し、表現能力を向上させること。
• 隣接するエンティティおよび関係から得られる構造的グラフコンテキストをスコアリング関数に直接統合し、リンク予測を向上させること。
• 特に高インデグリーノードを有するFB15k-237において、標準ベンチマークで最先端の性能を達成すること。

提案手法

• OTEは、高次元の実ベクタ空間における直交変換として関係を表現し、RotatEの2次元複素回転を一般化する。
• 各関係は、頭部エンティティ埋め込みに適用される学習済みの直交行列としてモデル化される。
• エンティティ埋め込みは、流入ノードからのものと送出ノードからのものという2つの方向付きコンテキスト表現で拡張される。
• コンテキスト表現は、隣接するエンティティおよびそれらの関係を用いたアテンションに類似した集約によって計算され、距離スコアリング関数に使用される。
• 最終的なスコアリング関数は、直交変換に基づく距離とコンテキストに配慮した正則化を組み合わせ、妥当性推定を向上させる。
• ネガティブサンプリングとマージンベースのランク学習損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 RotatEを2次元複素空間から高次元の直交変換に拡張することで、複雑な関係のモデリング能力が向上するか？
• RQ2 流入および送出の両方の近傍から得られる方向付きグラフコンテキストを統合することで、特に曖昧なN対N、1対N、N対1関係においてリンク予測性能が向上するか？
• RQ3 提案されたOTEモデルは、FB15k-237やWN18RRといった標準ベンチマークにおいて、RotatEや他の最先端手法と比較してどのように性能を発揮するか？
• RQ4 OTEの最適な部分埋め込み次元は何か？また、その次元は性能とスケーラビリティにどのように影響を与えるか？
• RQ5 直交変換とコンテキストモデリングは、それぞれ性能向上にどの程度寄与しているか？

主な発見

• OTEはWN18RRで新たなSOTAとなるMRR 0.476を達成した。
• FB15k-237ではMRR 0.432を達成し、RotatE-L（0.425）を顕著に上回り、全関係タイプにおいて一貫した改善を示した。
• 1対NおよびN対N関係では平均でHit@10が2.1%向上し、N対1関係では3.3%向上した。これは、難易度の高いケースにおいて顕著な向上を示している。
• 部分埋め込み次元を2から20に増加させると、MRRは0.327から0.355に向上し、FB15k-237ではds=20で飽和した。
• 直交変換を削除するか、線形変換に置き換えるとMRRが著しく低下し、関係パターンのモデリングにおいてその重要性が確認された。
• OTEおよびRotatE-Lの両方にグラフコンテキストを追加すると性能が向上し、リンク予測における構造的コンテキストの価値を示した。