[論文レビュー] A Comprehensive Survey of Dynamic Graph Neural Networks: Models, Frameworks, Benchmarks, Experiments and Challenges

ZhengZhao Feng, Rui Wang+4 more|arXiv (Cornell University)|May 1, 2024

Advanced Graph Neural Networks被引用数 6

ひとこと要約

この調査は81のDGNNモデルと12のトレーニングフレームワークを分析し、新しい分類法、ベンチマーク、および6つのデータセットにわたる実験的比較を提供し、課題と今後の方向性を浮き彫りにします。

ABSTRACT

Dynamic Graph Neural Networks (GNNs) combine temporal information with GNNs to capture structural, temporal, and contextual relationships in dynamic graphs simultaneously, leading to enhanced performance in various applications. As the demand for dynamic GNNs continues to grow, numerous models and frameworks have emerged to cater to different application needs. There is a pressing need for a comprehensive survey that evaluates the performance, strengths, and limitations of various approaches in this domain. This paper aims to fill this gap by offering a thorough comparative analysis and experimental evaluation of dynamic GNNs. It covers 81 dynamic GNN models with a novel taxonomy, 12 dynamic GNN training frameworks, and commonly used benchmarks. We also conduct experimental results from testing representative nine dynamic GNN models and three frameworks on six standard graph datasets. Evaluation metrics focus on convergence accuracy, training efficiency, and GPU memory usage, enabling a thorough comparison of performance across various models and frameworks. From the analysis and evaluation results, we identify key challenges and offer principles for future research to enhance the design of models and frameworks in the dynamic GNNs field.

研究の動機と目的

• DGNN（ダイナミックGNN）に関する包括的で最新の概要を提供し、既存の調査のギャップを特定する。
• 離散時間と連続時間のダイナミクスを含むDGNNモデルの新しい分類法を提示する。
• 既存のDGNNトレーニングフレームワークと評価ベンチマークを要約・評価する。
• 代表的なDGNNモデルとフレームワークを比較するための標準化された実験を実施する。
• DGNN設計と評価における課題を分析し、今後の研究の方向性を提案する。

提案手法

• 構造・特徴・動的モデリング手法（DTDG対CTDG）で81のDGNNモデルを整理する新しい分類法を開発する。
• DTD GNNモデルを典型的なGNN/RNN、構造特化、時間的特化、総合特化のクラスに分類する。
• CTDGモデルをTPPベース、メモリベース、ランダムウォークベース、即時ノード更新、近傍集約更新、更新伝播、集約更新伝播スタイルに分類する。
• 12のDGNNトレーニングフレームワークの概要を提供し、その機能（普遍性、拡張性、マルチGPUサポートなど）を比較する。
• 公正な比較に適した一般に使われるDGNNベンチマークと評価指標を定義する。
• 6つの標準グラフデータセット上で、9つの代表的DGNNモデルと3つのフレームワークの実験評価を一貫した設定で実施する。

実験結果

リサーチクエスチョン

• RQ1 現在のダイナミックGNNモデルとフレームワークの現状はどうなっているか？
• RQ2 統一された分類法が離散時間と連続時間設定のDGNNを比較するのにどう役立つか？
• RQ3 標準化されたベンチマークの下で代表的DGNNモデルとフレームワークの相対的な長所と短所は何か？
• RQ4 DGNNの公正で再現可能な評価に適したベンチマーク、指標、実験設定は何か？
• RQ5 DGNNの体系的な比較から浮かぶ課題と今後の方向性は何か？

主な発見

• 本論文は81の最新DGNNモデルと12のフレームワークを調査し、新しい分類法と包括的なカバレッジを提供する。
• 6つの標準データセットを用い、9つのDGNNモデルと3つのフレームワークを一貫した設定で実験比較している。
• 評価は収束精度、トレーニング効率、GPUメモリ使用量、マルチGPUのスケーラビリティに焦点を当てる。
• DGNN設計と評価の主要な課題を特定し、今後の研究の原理的な方向性を提案する。
• 著者は再現性を支えるソースコードとデータを含むアーティファクトリポジトリを提供する。