[論文レビュー] DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability

Weilin Cong, Yanhong Wu+5 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Graph Neural Networks参考文献 40被引用数 4

ひとこと要約

DyFormer は、空間的・時系列的符号化と部分グラフサンプリングを用いた二塔型アーキテクチャを活用するスケーラブルなダイナミックグラフ Transformer であり、暗黙の辺と時系列的変化をモデル化する。実世界のダイナミックグラフベンチマークにおいて、最先端手法を常に 1%–3% AUC 向上させるとともに、証明可能に有益な自己教師付き事前学習により一般化性能を向上させる。

ABSTRACT

Transformers have achieved great success in several domains, including Natural Language Processing and Computer Vision. However, its application to real-world graphs is less explored, mainly due to its high computation cost and its poor generalizability caused by the lack of enough training data in the graph domain. To fill in this gap, we propose a scalable Transformer-like dynamic graph learning method named Dynamic Graph Transformer (DyFormer) with spatial-temporal encoding to effectively learn graph topology and capture implicit links. To achieve efficient and scalable training, we propose temporal-union graph structure and its associated subgraph-based node sampling strategy. To improve the generalization ability, we introduce two complementary self-supervised pre-training tasks and show that jointly optimizing the two pre-training tasks results in a smaller Bayesian error rate via an information-theoretic analysis. Extensive experiments on the real-world datasets illustrate that DyFormer achieves a consistent 1%-3% AUC gain (averaged over all time steps) compared with baselines on all benchmarks.

研究の動機と目的

• 欠落または誤ったリンクのためのグラフニューラルネットワークの一般化性能の低さを解消すること。
• グラフサイズと時間ステップの増加に伴うダイナミックグラフ学習におけるスケーラビリティの制限を克服すること。
• 情報理論に基づく補完的自己教師付き事前学習タスクを通じて、モデルのロバストネスと一般化性能を向上させること。
• 時系列結合グラフと標的付きノードサンプリングを用いて、グラフサイズや時間的複雑性に依存しない効率的な学習フレームワークを設計すること。
• 複数の実世界データセットにおけるダイナミックリンク予測で最先端の性能を示すこと。

提案手法

• DyFormer は、構造的および時系列的進化のインダクティブバイアスをモデルに組み込むために、空間的・時系列的符号化を用いた二塔型 Transformer アーキテクチャを採用する。
• 複数の時間ステップにわたる情報を統合したメタグラフとしての時系列結合グラフ構造を導入し、効率的な表現学習を実現する。
• グラフサイズや時間ステップ数に依存しない学習複雑性を実現するため、新しい部分グラフベースのノードサンプリング戦略を提案する。
• 完全自己注意機構を用いることで、入力グラフのトポロジーよりも広い範囲の暗黙のノード関係を捉え、欠落または誤ったリンクに対するロバストネスを向上させる。
• 一般化性能の向上を目的とした、情報理論的分析により理論的裏付けが与えられた補完的自己教師付き事前学習タスクを2つ設計する。その分析によりベイズ誤り率が低下することが示される。
• 事前学習の目的関数を統合的に最適化することで、下流タスクの性能を向上させつつ、スケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 空間的・時系列的符号化を備えた Transformer アーキテクチャは、ダイナミックグラフの進化と暗黙のリンクを効果的にモデル化できるか？
• RQ2 2つの補完的自己教師付き事前学習タスクの共同最適化は、情報理論的分析によって裏付けられた、証明可能なより良い一般化をもたらすか？
• RQ3 時系列結合グラフ構造と部分グラフベースのサンプリング戦略を組み合わせることで、グラフサイズや時間ステップ数に依存しない学習複雑性を達成できるか？
• RQ4 実世界のデータセットにおいて、DyFormer は最先端のベースラインと比較して、ダイナミックリンク予測でどのように性能を発揮するか？
• RQ5 DyFormer は、欠落または誤ったリンクが人工的に追加されたノイズの多い入力グラフに対して、どの程度ロバストか？

主な発見

• DyFormer は、すべての実世界のダイナミックグラフデータセットにおけるリンク予測タスクで、すべてのベースラインを 1%–3% のマクロ AUC の向上で上回る。
• モデルは安定性が向上し、異なるランダムシードにおける AUC スコアの標準偏差が低く抑えられており、よりロバストな学習を示している。
• 事前学習は性能向上に顕著に寄与する：事前学習なしの DyFormer は、特にパrameterの複雑性が高い状況で AUC が低く、分散が大きい。
• 10%–50% の人工的に追加された誤ったリンクや欠落リンクを含むノイズの多いグラフにおいても、完全自己注意アグリゲーションを採用した DyFormer は、1ホップ自己注意の変種よりも高い安定性と高い AUC スコアを維持する。
• 10% のノイズ条件下で、UCI では 86.12±0.57 のマクロ AUC、Yelp では 71.64±0.18 のマクロ AUC を達成し、一部の設定で 1 ホップ自己注意の変種を 3% 以上上回る。
• アブレーションスタディにより、空間的・時系列的符号化、二塔型アーキテクチャ、部分グラフサンプリング戦略が性能向上とスケーラビリティ向上に有効であることが確認された。