[論文レビュー] T-GAP: Learning to Walk across Time for Temporal Knowledge Graph Completion

Jaehun Jung, Jinhong Jung+1 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Graph Neural Networks参考文献 27被引用数 10

ひとこと要約

T-GAPは、クエリ時刻に相対的な関連する過去および未来の出来事に動的に注目することで、時刻に敏感な知識グラフにおける推論を向上させる、新しい時系列知識グラフ補完モデルを提案する。本モデルは、クエリ時刻に相対的な関連する出来事に動的に注目することで、最先端の性能と優れた解釈可能性を達成する。

ABSTRACT

Temporal knowledge graphs (TKGs) inherently reflect the transient nature of real-world knowledge, as opposed to static knowledge graphs. Naturally, automatic TKG completion has drawn much research interests for a more realistic modeling of relational reasoning. However, most of the existing mod-els for TKG completion extend static KG embeddings that donot fully exploit TKG structure, thus lacking in 1) account-ing for temporally relevant events already residing in the lo-cal neighborhood of a query, and 2) path-based inference that facilitates multi-hop reasoning and better interpretability. In this paper, we propose T-GAP, a novel model for TKG completion that maximally utilizes both temporal information and graph structure in its encoder and decoder. T-GAP encodes query-specific substructure of TKG by focusing on the temporal displacement between each event and the query times-tamp, and performs path-based inference by propagating attention through the graph. Our empirical experiments demonstrate that T-GAP not only achieves superior performance against state-of-the-art baselines, but also competently generalizes to queries with unseen timestamps. Through extensive qualitative analyses, we also show that T-GAP enjoys from transparent interpretability, and follows human intuition in its reasoning process.

研究の動機と目的

• 時系列知識グラフ（TKG）における時間的ダイナミクスと構造的文脈を捉えることができない既存の静的知識グラフ埋め込みモデルの限界を克服すること。
• 出来事とクエリ時刻の間の時系列的シフトを考慮した、クエリに関連する部分構造を符号化することで、TKG補完を向上させること。
• グラフ構造を介した柔軟な注目に基づく伝播を用いたパスベース推論を可能にし、解釈可能性とマルチホップ推論を強化すること。
• 絶対的時刻ではなく相対的時刻位置をモデル化することで、未観測のクエリ時刻に対しても一般化を可能にすること。
• 時系列に敏感なパス上の注目分布を分析することで、透明性が高く人間が直感的に理解できる推論を提供すること。

提案手法

• 各エッジとクエリ時刻の間の時系列的シフトの符号（過去／現在／未来）と大きさを別々に符号化する時系列GNNエンコーダを導入する。
• クエリ固有の注目を用いて近隣情報の集約を行い、クエリ時刻に時間的に関連する出来事に注目する。
• 注目がノードから隣接ノードへ拡散される柔ららかなかたちのパスベース推論メカニズムを実装し、単一のパスを選択するのではなく複数の経路を柔軟に扱う。
• 教師あり学習を用いてエンドツーエンドで訓練し、符号化部とデコード部の共同最適化を可能にする。
• 注目をエッジを介して伝播させることで時系列推論をモデル化し、マルチステップ推論によって初期の不適切な選択を是正できるようにする。
• 時系列的述語（例：occurSince、occurUntil）を用いて関係的意味を符号化し、時間的に整合性があり文脈的に関連する事実に注目を向けるようにする。

実験結果

リサーチクエスチョン

• RQ1 出来事とクエリ時刻の間の相対的時間（時系列的シフト）をモデル化することで、TKG補完モデルの性能が向上するか？
• RQ2 注目に基づくパス伝播は、静的埋め込みモデルと比較して、時系列知識グラフにおけるより効果的で解釈可能なマルチホップ推論を可能にするか？
• RQ3 相対的時刻位置に依存することで、未観測の時刻を持つクエリに対してもTKGモデルが一般化できるか？
• RQ4 T-GAPの注目分布は、時系列的関係推論において人間の類似した推論様式をどの程度反映しているか？
• RQ5 T-GAPの注目メカニズムは、推論過程で初期のパス選択ミスをどの程度是正できるか？

主な発見

• T-GAPは、すべての3つのベンチマークデータセット（ICEWS14、ICEWS15、YAGO15K）において、時系列知識グラフ補完で最先端の性能を達成し、既存の最先端モデルを上回る。
• 未観測の時刻を持つクエリに対しても効果的に一般化でき、時系列クエリにおける分布シフトに対して頑健であることが示された。
• 定性的分析の結果、T-GAPの注目分布は非常に解釈可能であり、過去の脅威や将来の関係など、時間的に関連する出来事に注目していることが確認された。
• 事例研究では、T-GAPがマルチステップの注目伝播を活用して初期の誤った判断（例：国際的脅威に関するクエリで日本から韓国へ注目を移動）を是正した。
• member_of_sports_team-occurUntilのような関係では、T-GAPは過去の出来事に優先的に注目し、人間の直感に合致して最後に確認された所属関係を特定した。
• educated_at-occurSinceのような関係では、T-GAPは将来的な出来事に注目し、クエリ時刻以降の最初の機関を正しく特定した。これは、時間的論理との整合性を示している。