[論文レビュー] Graph Hawkes Network for Reasoning on Temporal Knowledge Graphs

Zhen Han, Yuyi Wang+3 more|arXiv (Cornell University)|Dec 14, 2019

Diffusion and Search Dynamics被引用数 13

ひとこと要約

本稿では、各有向ラベル付きエッジをイベントタイプとして扱うことで、時間的変化する時系列知識グラフを動的にモデル化するニューラルポイントプロセスモデル「Graph Hawkes Network (GHN)」を提案する。グラフアテンションとニューラル自己調整を活用することで、大規模な時系列関係データにおける複雑で長距離に及ぶ依存関係を効率的に捉え、時系列知識グラフ推論タスクにおいて先行手法を上回る性能を発揮する。

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work generalizing the Hawkes process to a neurally self-modulating multivariate point process enables the capturing of more complex and realistic influences of past events on the future. However, this approach is limited by the number of event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The problem becomes even more dramatic when links are directional and labeled, since, in this case, the number of event types scales with the number of nodes and link types. To address this issue, we propose the Graph Hawkes Network to capture the dynamics of evolving graph sequences. Extensive experiments on large-scale temporal relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

研究の動機と目的

• 多数のイベントタイプを有する大規模な時系列知識グラフに適用する際の、従来のハウクス過程モデルのスケーラビリティの制限を解消すること。
• 各有向ラベル付きエッジが別個のイベントタイプを構成するような、進化するグラフシーケンスの動的特性をモデル化すること。
• ニューラル自己調整を用いて複雑で長距離に及ぶ依存関係を捉えることで、時系列知識グラフにおける効果的な推論を可能にすること。
• グラフ構造に適合したスケーラブルで表現力のあるフレームワークを構築し、多変量ハウクス過程をグラフ構造のイベントシーケンスに一般化すること。

提案手法

• Graph Hawkes Networkは、時系列知識グラフ内の各エッジを別個のイベントタイプとしてモデル化し、多数のイベントタイプを効率的に処理できるようにする。
• ノードおよびエッジの表現を符号化するためにグラフニューラルネットワーク（GNN）を採用し、構造的および関係的文脈を捉える。
• ニューラル自己調整メカニズムを用いて、過去のイベントに基づき将来のイベント強度を動的に調整し、自己励起およびクロス励起をモデル化する。
• アテンション機構を用いて、過去のイベントが将来の予測に与える影響を重み付けし、関連する歴史的相互作用に焦点を当てる。
• 強度関数は、ノード特徴量、エッジタイプ、および時系列的ダイナミクスを統合する深層ニューラルネットワークによってパラメータ化される。
• 観測されたイベントシーケンスに基づき、ネガティブ・ログリクライム・ロスを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルポイントプロセスモデルは、多数のイベントタイプを有する時系列知識グラフに効果的にスケーリング可能か？
• RQ2 モデルは、進化するグラフシーケンスにおける複雑で長距離に及ぶ依存関係をどの程度効果的に捉えられるか？
• RQ3 グラフ構造とアテンションを統合することで、時系列知識グラフにおける推論性能がどの程度向上するか？
• RQ4 提案手法は、予測精度およびスケーラビリティの観点で、従来の手法と比較してどの程度優れているか？

主な発見

• Graph Hawkes Networkは、大規模な時系列知識グラフ推論ベンチマークで最先端の性能を達成した。
• モデルは、進化するグラフシーケンスにおける長距離依存関係を効果的に捉えており、標準的なハウクス過程や他のベースライン手法を上回った。
• グラフアテンションとニューラル自己調整の統合により、これらのコンポONENTを備えないモデルと比較して、予測精度が顕著に向上した。
• ノード数およびラベル付きエッジ数が多数のグラフに対しても、効率的にスケーリングでき、従来の多変量ハウクス過程の制限を克服した。