[論文レビュー] Complex Evolutional Pattern Learning for Temporal Knowledge Graph Reasoning

Zixuan Li, Saiping Guan+8 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、時間的知識グラフ推論のための新しいモデルであるComplex Evolutional Network（CEN）を提案する。CENは、進化パターンにおける長さ多様性と時間的変動性を解決する。CENは長さに配慮したCNNとカリキュラム学習を用いて、さまざまな長さのパターンを捉え、時間的正則化ユニットを備えたオンライン学習設定を採用して変化するパターンに適応し、オフラインおよびオンライン設定の両方でICEWS14、ICEWS18、WIKIで最先端の性能を達成した。

ABSTRACT

A Temporal Knowledge Graph (TKG) is a sequence of KGs corresponding to different timestamps. TKG reasoning aims to predict potential facts in the future given the historical KG sequences. One key of this task is to mine and understand evolutional patterns of facts from these sequences. The evolutional patterns are complex in two aspects, length-diversity and time-variability. Existing models for TKG reasoning focus on modeling fact sequences of a fixed length, which cannot discover complex evolutional patterns that vary in length. Furthermore, these models are all trained offline, which cannot well adapt to the changes of evolutional patterns from then on. Thus, we propose a new model, called Complex Evolutional Network (CEN), which uses a length-aware Convolutional Neural Network (CNN) to handle evolutional patterns of different lengths via an easy-to-difficult curriculum learning strategy. Besides, we propose to learn the model under the online setting so that it can adapt to the changes of evolutional patterns over time. Extensive experiments demonstrate that CEN obtains substantial performance improvement under both the traditional offline and the proposed online settings.

研究の動機と目的

• 既存のTKG推論モデルがパターン長を固定して学習を行うため、進化する多様な長さの進化パターンをうまく扱えないという限界を是正すること。
• 異なるシーケンス長にわたる順序依存関係を捉えるために、長さに配慮した畳み込みニューラルネットワークを導入し、さまざまな長さの進化パターンをモデル化すること。
• 時間の経過に伴い変化する進化パターンに継続的に適応できるように、オンライン学習設定でモデルを学習すること。
• オンライン学習中の急激な忘却を防ぐために、時間的正則化ユニットを用いて新規知識と旧来知識のバランスを保つこと。

提案手法

• CENは、履歴KGシーケンスを文脈的表現にエンコードするために、関係性グラフ畳み込みネットワーク（RGCN）を採用する。
• 長さに配慮したCNNを設計し、さまざまな長さのシーケンスから進化パターンを抽出する。カーネルはシーケンス長に応じて動的に調整される。
• 短いシーケンスから始め、徐々に長さを増やすカリキュラム学習戦略を採用することで、学習の安定性と性能を向上させる。
• オンライン学習設定を採用し、各新しいタイムスタンプで新たに観測された事実を用いて、モデルを段階的にファインチューニングする。
• オンライン更新中に過去の時間帯の知識を保持するため、時間的正則化（TR）ユニットを導入し、災難的忘却を防止する。
• オフラインおよびオンライン設定の両方で、MRRおよびHits@{1,3,10}を用いてモデルを評価し、公平な比較を確保するための時間に配慮したフィルタリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 時間的知識グラフにおいて、固定長シーケンスに制限されない多様な長さの進化パターンを効果的に学習できるモデルは存在するか？
• RQ2 新しいパターンが歴史的パターンとは異なる場合に、進化パターンの変化に適応できるTKG推論モデルはどのように実現できるか？
• RQ3 シーケンス長に基づくカリキュラム学習は、TKG推論における進化パターン学習の性能と安定性を向上させるか？
• RQ4 時間的正則化ユニットを用いたオンライン学習は、進化するデータにおいて性能を維持しながら、災難的忘却をどの程度軽減できるか？
• RQ5 提案されたCENモデルは、オフラインおよびオンラインの両設定において、既存の最先端モデルと比較してどのように優れているか？

主な発見

• オフライン設定下で、CENはICEWS14、ICEWS18、WIKIで最先端の性能を達成し、MRR、Hits@3、Hits@10のすべての指標ですべてのベースラインを上回った。
• ICEWSデータセットでは、CENはTITerよりもHits@3およびHits@10で優れていたが、わずかに低いHits@1を示した。これは、複数の多様な長さのパターンからの情報統合が可能であるためである。
• オンライン設定では、CENはCEN(-TR)を著しく上回り、時間的正則化ユニットが知識保持と適応のバランスを効果的にとっていることを示した。
• WIKIデータセットでは、CEN(-TR)がCENを上回った。これは、時間間隔が大きく、パターンが極めて時間的に変動する状況では、TRユニットが性能を妨げることがあることを示している。
• アブレーションスタディにより、カリキュラム学習と長さに配慮したCNNの両方が不可欠であることが確認された。両者を削除すると、性能が著しく低下し、その貢献が裏付けられた。