[論文レビュー] Dynamic Graph Neural Networks

Yao Ma, Ziyi Guo+4 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Graph Neural Networks参考文献 20被引用数 9

ひとこと要約

本稿では、逐次的なエッジ更新、時間的間隔、一貫性のある情報伝達を捉えることで、進化するグラフ構造をモデル化する新しいフレームワークである動的グラフニューラルネットワーク（DGNN）を提案する。動的グラフにおける実験では、時間的ダイナミクスを活用することで、ノード分類およびリンク予測の性能が顕著に向上する。

ABSTRACT

Graphs, which describe pairwise relations between objects, are essential representations of many real-world data such as social networks. In recent years, graph neural networks, which extend the neural network models to graph data, have attracted increasing attention. Graph neural networks have been applied to advance many different graph related tasks such as reasoning dynamics of the physical system, graph classification, and node classification. Most of the existing graph neural network models have been designed for static graphs, while many real-world graphs are inherently dynamic. For example, social networks are naturally evolving as new users joining and new relations being created. Current graph neural network models cannot utilize the dynamic information in dynamic graphs. However, the dynamic information has been proven to enhance the performance of many graph analytical tasks such as community detection and link prediction. Hence, it is necessary to design dedicated graph neural networks for dynamic graphs. In this paper, we propose DGNN, a new {\bf D}ynamic {\bf G}raph {\bf N}eural {\bf N}etwork model, which can model the dynamic information as the graph evolving. In particular, the proposed framework can keep updating node information by capturing the sequential information of edges, the time intervals between edges and information propagation coherently. Experimental results on various dynamic graphs demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 既存のグラフニューラルネットワークが動的で進化するグラフを扱う点で抱える制限を解決すること。
• グラフ進化における逐次的エッジ更新と時間間隔を捉えるフレームワークを設計すること。
• 動的グラフにおける時間ステップ間で一貫性のある情報伝達を可能にすること。
• ノード分類やリンク予測などの動的グラフタスクにおける性能を向上させること。
• 時間的ダイナミクスをグラフ表現学習に組み込む有効性を示すこと。

提案手法

• DGNNはエッジを時間的順に処理することで、グラフ進化をモデル化し、逐次的ダイナミクスを捉える。
• 連続するエッジイベント間の時間間隔を組み込むことで、時間的依存関係を符号化する。
• ノード表現を時間経過とともに更新するため、ゲート付き再帰ユニット（GRU）に類似したメカニズムを用いる。
• ノード隠れ状態は、到着するエッジメッセージと時間的文脈に基づいて更新される。
• 時間的メッセージパッシングメカニズムを用いることで、時間ステップ間で情報伝達を一貫して維持する。
• モデルは、グラフの構造的変化と時間的変化を反映した動的ノード埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、現実世界のグラフの動的進化を効果的にモデル化できるか？
• RQ2 エッジ間の時間間隔といった時間的情報は、グラフ表現学習の向上にどのような役割を果たすか？
• RQ3 統一されたフレームワークは、逐次的エッジ更新と時間的ダイナミクスの両方を捉えることができるか？
• RQ4 動的情報を組み込むことで、ノード分類およびリンク予測の精度にどのような影響を与えるか？
• RQ5 動的グラフ学習において、時間的構造と静的グラフ構造の相対的寄与度は何か？

主な発見

• DGNNは、動的グラフにおけるノード分類タスクで、静的GNNおよび既存の動的グラフモデルを上回る性能を発揮する。
• エッジ間の時間間隔の組み込みが、リンク予測タスクの性能向上に顕著に寄与する。
• DGNNにおける時間的メッセージパッシングにより、進化するグラフ構造間で一貫性のある情報伝達が可能になる。
• モデルは効果的に逐次的エッジパターンを捉え、より正確な動的グラフ表現を生成する。
• さまざまな動的グラフベンチマークにおける実験結果から、DGNNがグラフ進化をモデル化する有効性が確認される。
• DGNNは、複数の動的グラフ学習ベンチマークで最先端の性能を達成する。