[論文レビュー] Recurrent Event Network for Reasoning over Temporal Knowledge Graphs.

Woojeong Jin, Changlin Zhang+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 24被引用数 32

ひとこと要約

本稿では、再帰的イベントエンコーダーと近傍アグリゲーターを用いて、動的知識グラフにおける時系列的・多関係的・並列的な相互作用をモデル化する、新しいニューラルアーキテクチャであるRecurrent Event Network (RE-Net) を提案する。RE-Netは、4つの公開された時系列知識グラフ（TKG）データセットにおいて、時系列的リンク予測の多段階推論において最先端の性能を達成しており、時間的経過に伴う長距離依存関係とイベント系列を効果的に捉えている。

ABSTRACT

Recently, there has been a surge of interest in learning representation of graph-structured data that are dynamically evolving. However, current dynamic graph learning methods lack a principled way in modeling temporal, multi-relational, and concurrent interactions between nodes---a limitation that is especially problematic for the task of temporal knowledge graph reasoning, where the goal is to predict unseen entity relationships (i.e., events) over time. Here we present Recurrent Event Network (RE-Net)---a novel neural architecture for modeling complex event sequences---which consists of a recurrent event encoder and a neighborhood aggregator. The event encoder employs an RNN to capture (subject, relation) or (object, relation)-specific patterns from historical, multi-relational interactions between entities. The neighborhood aggregator summarizes concurrent, multi-hop entity interactions within each time stamp. An output layer is designed for predicting forthcoming events. Extensive experiments on temporal link prediction over four public TKG datasets demonstrate the effectiveness and strength of RE-Net, especially on multi-step inference over future time stamps. Code and data are published at the https://github.com/INK-USC/RE-Net { ext{GitHub repository}}.

研究の動機と目的

• 動的グラフ学習における、時系列的・多関係的・並列的相互作用の原理的モデリングの欠如に対処すること。
• 複雑なイベント系列を伴う進化する知識グラフにおける、多段階の時系列的リンク予測を改善すること。
• 時間経過に伴う（主語, 関係）および（目的語, 関係）固有の相互作用パターンを捉えるニューラルアーキテクチャを設計すること。
• 各タイムスケールにおける並列的・多ホップのエンティティ相互作用を要約し、より良い時系列的推論を実現すること。
• 時系列知識グラフにおける未観測の将来のイベントを正確に予測すること。

提案手法

• 再帰的イベントエンコーダーは、RNNを用いてエンティティ間の（主語, 関係）または（目的語, 関係）固有の歴史的相互作用パターンをモデル化する。
• 近傍アグリゲーターは、メッセージパッシングを通じて、各タイムスケールにおけるエンティティ間の並列的・多ホップの相互作用を捉える。
• モデルは、エンコードされたイベント表現とアグリゲートされた近傍情報の組み合わせを用いて、統合的推論を行う。
• 出力層は、融合された時系列的・関係的表現を活用して将来のイベントを予測する。
• アーキテクチャは、リンク予測の目的関数に基づき、時系列知識グラフデータ上でエンドツーエンドで訓練される。
• 隠れ状態を時間ステップ間で維持することで、将来のタイムスケールにおける多段階推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャは、進化する知識グラフにおける複雑で並列的かつ多関係的な相互作用を効果的にモデル化できるか？
• RQ2 RE-Netは、既存の手法と比較して、多段階の時系列的リンク予測でどの程度の性能を示すか？
• RQ3 再帰的イベントエンコーダーは、イベント系列における長距離依存関係をどの程度効果的に捉えているか？
• RQ4 近傍アグリゲーターは、各タイムステップにおける並列的エンティティ相互作用の推論をどの程度改善するか？
• RQ5 RNNベースの時系列モデリングと近傍アグリゲーションの統合は、将来のイベント予測をどの程度向上させるか？

主な発見

• RE-Netは、4つの公開時系列知識グラフデータセットにおいて、時系列的リンク予測で最先端の性能を達成した。
• モデルは、将来のタイムスケールにおける多段階推論において優れた性能を示しており、強力な長距離依存関係モデリング能力を示している。
• 再帰的イベントエンコーダーは、時間経過に伴う（主語, 関係）および（目的語, 関係）固有の相互作用パターンを効果的に捉えている。
• 近傍アグリゲーターは、各タイムスケールにおける並列的・多ホップのエンティティ相互作用の要約を通じて、推論性能を顕著に向上させた。
• アブレーションスタディの結果、再帰的エンコーダーと近傍アグリゲーターの両方が、モデル全体の性能向上に有意に寄与していることが確認された。
• 広範な実験を通じて、モデルの有効性が検証され、強力なベースライン手法に対して一貫した性能向上が示された。