[論文レビュー] FastGAE: Fast, Scalable and Effective Graph Autoencoders with Stochastic Subgraph Decoding.

Guillaume Salha-Galvan, Romain Hennequin+3 more|arXiv (Cornell University)|Feb 5, 2020

Advanced Graph Neural Networks参考文献 31被引用数 6

ひとこと要約

FastGAE は、ノードサンプリングによる確率的サブグラフ復号を用いて、大規模グラフ上のトレーニングを高速化するスケーラブルなフレームワークであり、グラフオートエンコーダーおよび変分オートエンコーダーを対象としています。100万ノードのグラフにおいて最先端の性能を達成するとともに、従来の手法と比較してトレーニング時間を大幅に短縮しています。

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) are powerful node embedding methods, but suffer from scalability issues. In this paper, we introduce FastGAE, a general framework to scale graph AE and VAE to large graphs with millions of nodes and edges. Our strategy, based on node sampling and subgraph decoding, significantly speeds up the training of graph AE and VAE while preserving or even improving performances. We demonstrate the effectiveness of FastGAE on numerous real-world graphs, outperforming the few existing approaches to scale graph AE and VAE by a wide margin.

研究の動機と目的

• 100万ノード以上を有する大規模なグラフ（エッジを含む）におけるグラフオートエンコーダー（AE）および変分オートエンコーダー（VAE）のスケーラビリティ制限を克服すること。
• トレーニング時間の大幅な短縮を実現しながら、モデルの性能を維持または向上させるトレーニングフレームワークの開発。
• 確率的サブグラフ復号およびノードサンプリングを用いて、大規模グラフにおける効率的な推論とトレーニングを可能にすること。
• 実世界のグラフデータセットにおいて、スケーラビリティおよび性能の面で既存の手法を上回ること。

提案手法

• トレーニング中にノードをサンプリングし、サブグラフを構築することで、計算コストを低減するため、確率的サブグラフ復号を採用する。
• ノードのミニバッチを形成するためにノードサンプリングを用い、全グラフではなくサブグラフの再構築を復号に使用する。
• オートエンコーダーのアーキテクチャを維持するが、サンプリングされたサブグラフ上で適用することで、意味のあるノード表現を学習する能力を保持する。
• トレーニングの目的関数は再構築損失に基づくが、サブグラフ上で計算されることで効率性が向上する。
• このアプローチは汎用的であり、標準的なグラフAEおよび変分グラフAE（VAE）モデルの両方に適用可能である。
• 大規模グラフにおいて、メモリおよび時間計算量の大幅な削減を実現するエンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的サブグラフ復号は、大規模グラフにおけるグラフオートエンコーダーのトレーニング速度を向上させつつ、性能を損なわないか？
• RQ2 FastGAE は、既存のスケーラブルなグラフAEおよびVAE手法と比較して、スケーラビリティおよび表現品質の面でどのように異なるか？
• RQ3 ノードサンプリングは、大規模な設定において、グラフオートエンコーダーの表現能力をどの程度維持できるか？
• RQ4 提案されたサブグラフ復号戦略は、実世界のグラフにおいて下流タスクの性能を維持または向上させるか？

主な発見

• FastGAE は、100万ノード以上のグラフにおいて、既存のスケーラブルなグラフAEおよびVAE手法と比較して、トレーニング時間の顕著な短縮を達成している。
• ベースライン手法と比較して、下流のノード分類およびリンク予測タスクにおける性能を維持または向上させている。
• 確率的サブグラフ復号により、大規模グラフにおけるメモリおよび計算オーバーヘッドを低減した効果的なトレーニングが可能になった。
• FastGAE は、グラフAEおよびVAEのスケーリングに特化した少数の既存手法と比較して、速度および性能の両面で大幅に優れている。