[論文レビュー] Graph Hawkes Neural Network for Forecasting on Temporal Knowledge Graphs

Zhen Han, Yunpu Ma+3 more|arXiv (Cornell University)|Mar 30, 2020

Point processes and geometric inequalities被引用数 13

ひとこと要約

本稿では、各事実 (s,p,o,t) をタイムスタンプ付きイベントとみなすことにより、大規模な時系列知識グラフ (tKGs) の時間的ダイナミクスをモデル化するため、ニューラル・ハウクス過程を拡張した新しい深層学習モデル、Graph Hawkes Neural Network (GHNN) を提案する。GHNNは連続時間の再帰的アーキテクチャを用いて、進化するグラフリンクにおける複雑な自己励起および抑制効果を捉え、ICEWS14およびGDELTデータセットにおいてリンク予測および時刻予測の両面で最先端の性能を達成する。

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work has generalized the Hawkes process to a neurally self-modulating multivariate point process, which enables the capturing of more complex and realistic impacts of past events on future events. However, this approach is limited by the number of possible event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The number of event types increases even further when links are directional and labeled. To address this issue, we propose the Graph Hawkes Neural Network that can capture the dynamics of evolving graph sequences and can predict the occurrence of a fact in a future time instance. Extensive experiments on large-scale temporal multi-relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

研究の動機と目的

• 高次元のイベントタイプを有する、進化する多関係的グラフ系列における複雑な時間的ダイナミクスを捉えることのできない既存モデルの限界を解消すること。
• 各有向・ラベル付きエッジが異なるイベントタイプを表す大規模な時系列知識グラフ (tKGs) における、イベント同士の相互影響をモデル化すること。
• 将来の事実の発生とその正確なタイムスタンプを同時に予測する連続時間の予測フレームワークを構築し、離散時間の近似を克服すること。
• 時系列予測の性能をよりよく反映するため、連続的Hits@k (cHits@k) と呼ばれる原理的で洗練された評価指標を導入すること。
• 実世界のtKGsにおけるリンク予測および時刻予測タスクにおいて、既存の最先端手法を上回る本手法の優位性を実証すること。

提案手法

• 時系列知識グラフ内のイベント間の自己励起および抑制効果を捉える多変量ポイントプロセスモデルとして、グラフ・ハウクス過程を提案する。
• 各事実 (主語, 述語, 宮語, 時刻) を連続時間ポイントプロセス内での別個のイベントタイプとしてモデル化し、任意の将来的なタイムスタンプ予測を可能にする。
• ハウクス過程の強度関数をパrameter化するため、連続時間の再帰的ニューラルネットワーク (RNN) を採用し、動的で文脈に依存する影響のモデル化を可能にする。
• エンティティおよび関係の埋め込みをノードとエッジを表現するために用い、アテンション機構を用いて、イベントのタイプと時間的近接性に基づいて過去のイベントの影響を重み付する。
• エンド・トゥ・エンドの学習を可能にする微分可能な尤度関数を活用し、最大尤度推定を用いてリンク予測および時刻予測の両方を最適化する。
• 連続的Hits@k (cHits@k) と呼ばれる新規な評価指標を導入し、その定義は、平均絶対誤差 (MAE) がしきい値k未満である予測の割合として与えられ、時系列予測における予測品質をよりよく反映する。

実験結果

リサーチクエスチョン

• RQ1 高次元のイベントタイプを有する大規模かつ進化する時系列知識グラフを、神経的ハウクス過程が効果的に拡張可能かどうか。
• RQ2 多関係的・方向的・ラベル付きのグラフリンク間の時間的依存性を、連続時間フレームワーク内でどのように捉えることができるか。
• RQ3 イベント強度を時間の連続関数としてモデル化することで、離散時間または埋め込みのみのアプローチと比較して、予測精度が向上するか。
• RQ4 提案手法が、実世界のtKGsにおけるリンク予測および時刻予測タスクにおいて、既存の最先端手法を上回ることができるか。
• RQ5 提案された連続的Hits@k指標が、従来のMAEと比較して、時刻予測タスクにおけるモデル性能をよりよく反映しているか。

主な発見

• GHNNはリンク予測において最先端の性能を達成し、ICEWS14データセットでMRR 28.71%、Hits@10 46.47%を記録。RE-Net (28.56% MRR) や他のすべてのベースラインを上回った。
• GDELTデータセットでは、MRR 23.55%、Hits@10 38.92%を達成し、RE-Net やKnow-Evolveを含む、比較対象のすべてのモデルを上回った。
• 時刻予測においては、ICEWS14でMAE 6.10日、GDELTで7.18時間を達成し、LiTSEE (108.00日および303.78時間) を著しく上回った。
• ICEWS14ではcHits@1が68.73%、GDELTでは58.79%を達成し、小さな誤差範囲内でタイムスタンプを正確に予測する強力な精度を示した。
• RE-Net やKnow-Evolve に対する性能向上は、連続時間の強度関数の明示的モデル化および動的影響伝播の仕組みに起因する。
• アブレーションスタディの結果、連続時間の定式化およびアテンションベースの影響重み付けの使用が、tKGsにおける複雑な時間的ダイナミクスを捉える上で極めて重要であることが確認された。