[論文レビュー] Know-Evolve: Deep Reasoning in Temporal Knowledge Graphs.

Rakshit Trivedi, Hanjun Dai+2 more|arXiv (Cornell University)|May 16, 2017

Advanced Graph Neural Networks参考文献 15被引用数 6

ひとこと要約

この論文では、時間的知識グラフを動的で非線形に進化するエンベッディングとして学習し、それらを多変量点過程のパrameter化に用いることで、事実の発生予測を可能にする深層学習フレームワーク、Know-Evolveを提案する。実世界のデータセットにおいて、より優れた推論性能と新しい時間的予測能力を達成している。

ABSTRACT

Knowledge Graphs are important tools to model multi-relational data that serves as information pool for various applications. Traditionally, these graphs are considered to be static in nature. However, recent availability of large scale event-based interaction data has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such graphs is not yet well understood. In this paper, we present a novel deep evolutionary knowledge network architecture to learn entity embeddings that can dynamically and non-linearly evolve over time. We further propose a multivariate point process framework to model the occurrence of a fact (edge) in continuous time. To facilitate temporal reasoning, the learned embeddings are used to compute relationship score that further parametrizes intensity function of the point process. We demonstrate improved performance over various existing relational learning models on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to any prior reasoning approaches in multi-relational setting.

研究の動機と目的

• 動的かつ変化する知識グラフに時間的エッジ情報を含める推論におけるギャップを埋める。
• 多関係的知識グラフにおける事実（エッジ）の連続的時間発生をモデル化する。
• 時間とともに非線形に進化するエンティティ埋め込みを学習する手法を開発する。
• 事実の発生時刻および再発生時刻の両方を予測可能にする能力を実現する。これは、従来の関係学習モデルにはない機能である。

提案手法

• 時間とともに非線形に進化するエンティティ埋め込みを学習できる、深層進化知識ネットワークを設計する。
• 連続時間における事実の確率的発生をモデル化するために、多変量点過程フレームワークを用いる。
• 学習されたエンティティ埋め込みを用いて、関係スコアを計算し、点過程の強度関数をパrameter化する。
• 強度関数は、進化する埋め込みに基づく微分可能なスコア関数を用いて定義され、エンドツーエンドの学習が可能になる。
• 観測された事実発生の確率を最大化するように、尤度に基づく目的関数を用いてモデルをエンドツーエンドで学習する。
• アーキテクチャは、時間的推論および将来的または再発生する事実イベントの予測を両方可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、時間的知識グラフにおける動的で非線形に進化するエンティティ表現を効果的に学習できるか？
• RQ2 モデルは、連続時間における事実発生時刻、あるいはその再発生時刻をどの程度正確に予測できるか？
• RQ3 知識グラフ推論に時間的ダイナミクスを組み込むことで、静的モデルと比較して性能が向上するか？
• RQ4 複雑な時間的パターンを示す大規模な実世界データセットに対しても、モデルは一般化可能か？

主な発見

• Know-Evolveは、2つの大規模な実世界データセットにおいて、従来の関係学習モデルよりも推論性能で優れている。
• 本モデルは、事実の発生時刻および再発生時刻の両方を予測可能にするという、従来の手法では実現できなかった新機能を実現している。
• 動的埋め込みと点過程モデリングの組み合わせにより、時間的事実パターンのモデリングが向上している。
• フレームワークは、実世界の時間的知識グラフデータにおいて、優れた一般化性能とスケーラビリティを示している。