[論文レビュー] Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning

Zixuan Li, Xiaolong Jin+6 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Graph Neural Networks参考文献 41被引用数 14

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCN）とゲート付き再帰ユニットを組み合わせた再帰的進化ネットワークであるRE-GCNを提案する。このモデルは、時系列に隣接する知識グラフにおける同時的事実の構造的依存関係と順序パターンを統合的にモデル化する。時間的知識グラフ推論タスクにおいて、最先端の手法よりも最大11.46%のMRR向上と82倍の高速化を達成し、静的エンティティ属性を統合することで表現学習を強化する。

ABSTRACT

Knowledge Graph (KG) reasoning that predicts missing facts for incomplete KGs has been widely explored. However, reasoning over Temporal KG (TKG) that predicts facts in the future is still far from resolved. The key to predict future facts is to thoroughly understand the historical facts. A TKG is actually a sequence of KGs corresponding to different timestamps, where all concurrent facts in each KG exhibit structural dependencies and temporally adjacent facts carry informative sequential patterns. To capture these properties effectively and efficiently, we propose a novel Recurrent Evolution network based on Graph Convolution Network (GCN), called RE-GCN, which learns the evolutional representations of entities and relations at each timestamp by modeling the KG sequence recurrently. Specifically, for the evolution unit, a relation-aware GCN is leveraged to capture the structural dependencies within the KG at each timestamp. In order to capture the sequential patterns of all facts in parallel, the historical KG sequence is modeled auto-regressively by the gate recurrent components. Moreover, the static properties of entities such as entity types, are also incorporated via a static graph constraint component to obtain better entity representations. Fact prediction at future timestamps can then be realized based on the evolutional entity and relation representations. Extensive experiments demonstrate that the RE-GCN model obtains substantial performance and efficiency improvement for the temporal reasoning tasks on six benchmark datasets. Especially, it achieves up to 11.46\% improvement in MRR for entity prediction with up to 82 times speedup comparing to the state-of-the-art baseline.

研究の動機と目的

• 時系列知識グラフ（TKG）における将来の事実予測という課題に取り組む。これは、有効性と効率性の面でまだ十分に検討されていない。
• 各タイムスタンプにおける同時的事実同士の構造的依存関係と、時系列的に隣接する事実間の順序パターンを統合的なフレームワークで捉えること。
• エンティティタイプや場所などの静的エンティティ属性を背景知識として統合することで、表現学習を向上させること。
• 既存の最先端モデルと比較して顕著な効率的向上を達成しつつ、高い性能を発揮する時間的推論を実現すること。

提案手法

• 関係に注意を向けるGCNを用いて、各タイムスタンプにおけるKG内の構造的依存関係をモデル化し、局所的なエンティティおよび関係の相互作用を捉える。
• 時刻ゲートを備えたゲート付き再帰ユニット（GRU）を用いて、履歴KGシーケンスを自己回帰的にモデル化し、長距離の順序パターンを学習する。
• 時刻ゲート再帰部は、深さのあるGCNスタックにおける勾配消失や過剰平滑化を抑制し、隠れ状態を効果的に更新することで、性能を向上させる。
• 静的グラフ制約部は、エンティティ属性（例：タイプ、場所）を統合し、初期エンティティ表現を豊かにする。
• エンティティおよび関係の進化的表現は、タイムスタンプごとに反復的に更新され、スコア関数を介して将来の事実予測が可能になる。
• エンティティおよび関係の予測タスクを同時に最適化するため、時間的KGシーケンス上でエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 統合的なモデルは、時間的知識グラフ（TKG）における同時的事実の構造的依存関係と、時系列的に隣接する事実間の順序パターンを効果的に捉えることができるか？
• RQ2 エンティティタイプや場所といった静的エンティティ属性を統合することで、時間的推論における進化的表現学習はどの程度向上するか？
• RQ3 時刻ゲート再帰部は、TKGにおける長期間の履歴シーケンスのモデリングをどの程度向上させるか？
• RQ4 提案手法は、時間的推論タスクにおいて、既存の最先端手法と比較して優れた性能と効率性を達成できるか？

主な発見

• ICEWS18データセットにおいて、RE-NETという最先端ベースラインと比較して、RE-GCNはエンティティ予測の平均逆順位（MRR）で最大11.46%向上を達成した。
• RE-NETと比較して、エンティティ予測において最大82倍の高速化を示し、推論効率が顕著に向上した。
• アブレーションスタディにより、時刻ゲート再帰部が不可欠であることが確認され、その除去により長期間のシーケンスにおいて性能が急速に低下した。
• 1ホップの近傍エンティティ数や関係数の増加に伴い性能が低下する傾向を示し、高複雑度のシナリオにおける課題を示した。
• 静的グラフ制約と共有初期表現のおかげで、直接的な歴史的相互作用がない未観測エンティティや関係に対しても、良好な一般化性能を示した。
• ケーススタディにより、RE-GCNが多段階の順序依存関係や、タイムスタンプ間をまたがる構造的影響を効果的に学習していることが確認された。