[論文レビュー] Towards Better Dynamic Graph Learning: New Architecture and Unified Library

Yu Le, Leilei Sun+2 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Graph Neural Networks被引用数 40

ひとこと要約

DyGFormerを導入した、ノードの相関と長期的な時間依存性を捉えるための隣接共起エンコーディングとパッチングを用いた動的グラフ用Transformerベースのモデル、および再現性のある連続時間動的グラフ学習評価の統一ライブラリ DyGLib。

ABSTRACT

We propose DyGFormer, a new Transformer-based architecture for dynamic graph learning. DyGFormer is conceptually simple and only needs to learn from nodes' historical first-hop interactions by: (1) a neighbor co-occurrence encoding scheme that explores the correlations of the source node and destination node based on their historical sequences; (2) a patching technique that divides each sequence into multiple patches and feeds them to Transformer, allowing the model to effectively and efficiently benefit from longer histories. We also introduce DyGLib, a unified library with standard training pipelines, extensible coding interfaces, and comprehensive evaluating protocols to promote reproducible, scalable, and credible dynamic graph learning research. By performing exhaustive experiments on thirteen datasets for dynamic link prediction and dynamic node classification tasks, we find that DyGFormer achieves state-of-the-art performance on most of the datasets, demonstrating its effectiveness in capturing nodes' correlations and long-term temporal dependencies. Moreover, some results of baselines are inconsistent with previous reports, which may be caused by their diverse but less rigorous implementations, showing the importance of DyGLib. All the used resources are publicly available at https://github.com/yule-BUAA/DyGLib.

研究の動機と目的

• 動的グラフにおけるノード間の相関と長期的な時間依存性を捉える必要性を動機付ける。
• 歴史的な一跳目の相互作用のみから学習する、シンプルなTransformerベースのアーキテクチャを提案する。
• 動的グラフ学習研究全体の再現性を向上させるため、統一的で標準化されたライブラリ（DyGLib）を開発する。
• 多様な動的リンク予測とノード分類タスクの集合で、実証的に最先端性能を示す。

提案手法

• DyGFormerは、ソースノードとデスティネーションノードの歴史的な一跳目相互作用列を抽出し、隣接ノード、リンク、および時間間隔のエンコーディングを計算する。
• 共起頻度を介してノードペア間の相関を捉えるための隣接共起エンコーディングを導入する。
• シーケンスをパッチに分割するパッチング手法を適用し、一定の計算量でより長い履歴をTransformerが活用できるようにする。
• 複数のエンコーディング列を連結し、Transformerエンコーダへ入力して、シーケンス間の時間依存性を学習する。
• Transformer出力を平均化し出力射影を適用することで、時刻に依存する表現 h_u^t, h_v^t を得る。
• DyGLibは、動的リンク予測と動的ノード分類の両方に対する標準化データ形式、PyTorchベースの実装、および包括的な評価プロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 DyGFormerは、隣接共起エンコーディングを用いて、ソースノードとデスティネーションノード間の相関を効果的に捉えることができるか？
• RQ2 パッチング手法は、計算コストを抑えつつ、より長い履歴列を活用できるか？
• RQ3 DyGFormerは、広範な動的グラフデータセットとタスクにおいて最先端の性能を提供するか？
• RQ4 統一ライブラリ（DyGLib）は、動的グラフ学習手法の再現性と公正な比較にどのような影響を与えるか？

主な発見

• DyGFormerは、複数のデータセットとネガティブサンプリング戦略に跨る、トランザクティブおよびインダクティブ動的リンク予測で一般にベースラインを上回る。
• DyGFormerは、トランザクティブのAP/AUC-ROCで平均順位2.49/2.69、インダクティブの2.69/2.56を達成。
• 隣接共起エンコーディングスキームは、ソース–デスティネーションの相関のモデリングを改善し、予測性能向上に寄与する。
• パッチング手法は、一定の計算量を維持しつつより長い履歴の活用を可能にし、長期的な時間依存性の捉え方を改善する。
• DyGLibは、以前の報告のいくつかのベースライン結果が異なるパイプラインと実装のためであったことを明らかにし、標準化されたベンチマークの必要性を強調する。