[論文レビュー] Large-Scale Representation Learning on Graphs via Bootstrapping

Shantanu Thakoor, Corentin Tallec+6 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Graph Neural Networks参考文献 46被引用数 30

ひとこと要約

BGRL はオンラインエンコーダとターゲットエンコーダを用いて2つの拡張グラフビュー間でブートストラップし、ネガティブなしで、スケーラブルな自己 supervised 学習を可能にし、2-10x メモリ削減で従来法と同等またはそれを上回る。何百万ノード級のグラフにもスケールし、大規模ベンチマークで最先端の結果を達成。

ABSTRACT

Self-supervised learning provides a promising path towards eliminating the need for costly label information in representation learning on graphs. However, to achieve state-of-the-art performance, methods often need large numbers of negative examples and rely on complex augmentations. This can be prohibitively expensive, especially for large graphs. To address these challenges, we introduce Bootstrapped Graph Latents (BGRL) - a graph representation learning method that learns by predicting alternative augmentations of the input. BGRL uses only simple augmentations and alleviates the need for contrasting with negative examples, and is thus scalable by design. BGRL outperforms or matches prior methods on several established benchmarks, while achieving a 2-10x reduction in memory costs. Furthermore, we show that BGRL can be scaled up to extremely large graphs with hundreds of millions of nodes in the semi-supervised regime - achieving state-of-the-art performance and improving over supervised baselines where representations are shaped only through label information. In particular, our solution centered on BGRL constituted one of the winning entries to the Open Graph Benchmark - Large Scale Challenge at KDD Cup 2021, on a graph orders of magnitudes larger than all previously available benchmarks, thus demonstrating the scalability and effectiveness of our approach.

研究の動機と目的

• グラフ上の自己監視表現学習を動機づけ、コストの高いラベルへの依存を減らす。
• 大規模グラフでの対比法（contrastive）のメモリと計算のボトルネックに対処する。
• ネガティブサンプルを必要としないスケーラブルなブートストラッピング手法を提案する。
• 標準ベンチマークや非常に大規模なグラフでの性能とスケーラビリティを示す。

提案手法

• オンラインエンコーダ E_theta とターゲットエンコーダ E_phi の2つのグラフエンコーダを使用する。
• 入力グラフの単純な撚り（ perturbations ）で2つの拡張ビューを作成する（ノード特徴のマスクとエッジのマスク。）
• オンラインエンコーダを予測器 p_theta とコサイン類似度損失によりターゲット表現を予測するよう訓練し、ターゲットエンコーダをオンラインエンコーダの指数加重移動平均として更新する。
• BYOL型手法で用いられる投影ヘッドを排除する；埋め込みサイズは小さく保たれ、グラフサイズに対して線形にスケールする。
• 更新ごとの線形時間/空間複雑さを強調し、対比法で典型的な全ペアネガティブの二次性を回避する。
• 隣接サンプリングと半教師あり信号を用いて非常に大規模なグラフ（例：MAG240M）で訓練することでスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 非対比的なブートストラップアプローチは精度で対比的自己教師ありグラフ手法と一致または上回りつつ、メモリ使用量を削減できるか？
• RQ2 シンプルなグラフ拡張は、ネガティブサンプルなしでスケーラブルな高性能グラフ表現学習に十分か？
• RQ3 BGRL は中規模から超大規模グラフ、半教師あり設定を含めてどのように性能を発揮するか？
• RQ4 大規模グラフ上での BGRL と対照的手法のメモリ-時間のトレードオフはどうなるか？

主な発見

• BGRL は複数の標準ベンチマークで先行手法と競合または優れており、2-10x 少ないメモリを使用している。
• 本手法は非常に大規模なグラフにもスケールし、 MAG240M の 2億4,000万ノードと 1.7十億エッジを含むデータセットで強力な検証・テスト性能を達成している。
• BGRL は半教師あり設定で効果的であり、MAG240M においてラベルなしデータからの利益を得て、完全に教師ありベースラインを改善している。
• ogbn-arXiv では、サブサンプリングを用いた BGRL はメモリ制約下で GRACE に匹敵または上回り、全グラフ対比損失よりスケーラビリティの利点を示した。
• PPI では GAT エンコーダを用いた BGRL が最先端の性能を達成し、注意機構ベースのモデルでのブートストラッピングの利点を強調している。
• 対照的手法と比較して、BGRL はネガティブサンプリングを全く回避し、メモリと時間の複雑性が良好で、グラフサイズに対して線形にスケールする。