[論文レビュー] Temporal Graph Networks for Deep Learning on Dynamic Graphs

Emanuele Rossi, Ben Chamberlain+4 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Graph Neural Networks参考文献 82被引用数 95

ひとこと要約

Temporal Graph Networks (TGNs) は、連続時間動的グラフを、時刻付きイベントの系列として表現する形で学習するための、汎用的でメモリ強化された枠組みを提供し、効率的な学習で最先端の結果を達成します。

ABSTRACT

Graph Neural Networks (GNNs) have recently become increasingly popular due to their ability to learn complex systems of relations or interactions arising in a broad spectrum of problems ranging from biology and particle physics to social networks and recommendation systems. Despite the plethora of different models for deep learning on graphs, few approaches have been proposed thus far for dealing with graphs that present some sort of dynamic nature (e.g. evolving features or connectivity over time). In this paper, we present Temporal Graph Networks (TGNs), a generic, efficient framework for deep learning on dynamic graphs represented as sequences of timed events. Thanks to a novel combination of memory modules and graph-based operators, TGNs are able to significantly outperform previous approaches being at the same time more computationally efficient. We furthermore show that several previous models for learning on dynamic graphs can be cast as specific instances of our framework. We perform a detailed ablation study of different components of our framework and devise the best configuration that achieves state-of-the-art performance on several transductive and inductive prediction tasks for dynamic graphs.

研究の動機と目的

• 離散的なスナップショットではなく、連続時間で相互作用が発生する動的グラフの学習を動機づける。
• Temporal Graph Networks (TGNs) を連続時間動的グラフの多用途なエンコーダとして導入する。
• 動的相互作用における長期履歴を捉えるためのノードあたりのメモリベース表現を有効にする。
• 情報リークを回避しつつ、メモリ関連コンポーネントを通じて勾配を伝播させる効率的なトレーニング戦略を開発する。
• 推論型・帰納的タスクの双方で最先端の性能を示しつつ、計算効率を向上させる。

提案手法

• 連続時間動的グラフを、時刻付きイベントの系列として定義する（ノード毎および相互作用イベント）。
• イベント間の履歴を捉えるためにノードごとの状態を格納するメモリモジュールを導入する。
• イベントからメッセージをメッセージ関数を用いて計算し、それらを集約して、メモリ更新機構を用いてノードごとのメモリを更新する。
• メモリと近隣情報から最新のノード埋め込みを生成する埋め込みモジュールを提供する（オプションとして identity、time projection、temporal graph attention、temporal graph sum を含む）。
• 選択したホップ数までの近傍情報と時系列埋め込みを取り入れて、メモリの陳腐化を緩和する埋め込み戦略を実装する。
• 情報リークを避けるために生メッセージを保存するトレーニング方式を採用し、バッチ処理中にメモリ関連モジュールを通じて勾配を伝播可能にする。
• Wikipedia、Reddit、Twitter データセット全体で、エッジ予測（推論的および帰納的）と動的ノード分類に対して TGNs を評価し、CTDNE、Jodie、DyRep、TGAT、静的ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型のイベント駆動エンコーダは、推論的および帰納的タスクの両方で既存の連続時間動的グラフモデルを上回ることができるか。
• RQ2 グラフベースの埋め込みと時系列近傍情報を取り入れることで、より新しいノード表現を得て予測性能が向上するか。
• RQ3 メモリの設計（有無、集約戦略）が精度と学習効率にどのように影響するか。
• RQ4 動的グラフを学習する際のモデルの複雑さ（層数、アテンション機構）と速度の間にどのようなトレードオフが存在するか。

主な発見

• TGNs は、エッジ予測とノード分類の両方で、複数の動的グラフタスクとデータセットにおいて最先端の成果を達成します。
• メモリを用いたモデルは、メモリレスな variants を上回り、長期ノード履歴を蓄積する重要性を示しています。
• グラフベースの埋め込みモジュール（特に temporal graph attention）は、メモリのみやグラフなしの variants に比べて性能を大幅に向上させます。
• メモリ搭載の TGNs は TGAT に比べてエポック当たり最大で約30倍高速であり、競争力のあるまたは優れた精度を維持します。
• メモリを備えた単一のグラフアテンション層だけで強力な性能を得られるのは、メモリアクセスがより広い時間的文脈を提供するためです。