[論文レビュー] Large-scale graph representation learning with very deep GNNs and self-supervision

Ravichandra Addanki, Peter Battaglia+9 more|arXiv (Cornell University)|Jul 20, 2021

Advanced Graph Neural Networks参考文献 60被引用数 14

ひとこと要約

本論文は、非常に深いアーキテクチャ（最大50層）とブートストラップおよびノイズ除去目的を用いた自己教師あり学習を用いて、大規模グラフ表現学習のための非常にスケーラブルなグラフニューラルネットワーク（GNN）を提示する。MAG240MおよびPCQM4Mベンチマークの両方で上位3位の性能を達成し、スケールにおける深層GNNおよび自己教師あり学習の有効性を示している。

ABSTRACT

Effectively and efficiently deploying graph neural networks (GNNs) at scale remains one of the most challenging aspects of graph representation learning. Many powerful solutions have only ever been validated on comparatively small datasets, often with counter-intuitive outcomes -- a barrier which has been broken by the Open Graph Benchmark Large-Scale Challenge (OGB-LSC). We entered the OGB-LSC with two large-scale GNNs: a deep transductive node classifier powered by bootstrapping, and a very deep (up to 50-layer) inductive graph regressor regularised by denoising objectives. Our models achieved an award-level (top-3) performance on both the MAG240M and PCQM4M benchmarks. In doing so, we demonstrate evidence of scalable self-supervised graph representation learning, and utility of very deep GNNs -- both very important open issues. Our code is publicly available at: https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc.

研究の動機と目的

• 非常に深いGNN（最大50層）が大規模グラフデータセット上でスケーラビリティとパフォーマンスをどのように発揮するかを調査すること。
• ブートストラップやノイズ除去といった自己教師あり学習目的が、大規模グラフ表現学習に与える影響を評価すること。
• 現実世界の大規模グラフベンチマークにおいて、表現力があり深いGNNが、浅いまたは単純なモデルを上回るかを特定すること。
• BGRL やノイズ付きノードといった補助的訓練目的が、一般化性能および深さスケーラビリティの向上にどのように寄与するかを調査すること。
• 自己教師あり学習が、巨大なグラフでさえも過学習を防ぎながら長期間の訓練を可能にすることを検証すること。

提案手法

• 著者らは、未ラベルノードの予測を反復的に改善するためのブートストラップを用いて、MAG240M用に深層トランスダクティブノード分類器を開発した。
• PCQM4Mでは、コンフォーマーに基づく分子特徴を用いたメッセージパッシングGNNアーキテクチャを用いて50層のインダクティブグラフ回帰器を訓練した。
• BGRL（Bootstrap GNN Representation Learning）目的を適用し、ビュー増強と対照的学習を用いて、頑健で不変な表現を促進した。
• ノイズ付きノード正則化子を用いて、メッセージパッシング中にノード特徴にノイズを注入することで、非常に深いGNNの訓練を安定化させた。
• 分布シフトの低減とテストセットにおける一般化性能の向上のため、モデルアンサンブルと慎重な後処理を実施した。
• 未ラベルデータを自己教師あり目的を通じて活用し、数十億のエッジおよび数百万のノードでモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 最大50層の非常に深いGNNは、浅いモデルと比較して、大規模グラフベンチマークで優れたパフォーランスを達成できるか？
• RQ2 特にブートストラップおよびノイズ除去を介した自己教師あり学習は、大規模グラフにおける一般化性能および訓練安定性を顕著に向上させるか？
• RQ3 BGRL のような現代的な対照的自己教師あり学習手法は、極めて大きなグラフの文脈でどれほど有効か？
• RQ4 ノイズ付きノードのような補助的目的は、深さの増加に伴い性能向上が一貫して得られる程度まで、どのように機能するか？
• RQ5 自己教師あり学習により、巨大データセットでも過学習を防ぎながら長期間の訓練が可能になるか？

主な発見

• 最終モデルはMAG240Mで75.19％のテスト精度を達成し、OGB-LSCベンチマークで上位3位にランクインした。
• PCQM4Mでは、テストMAEが0.1205に達し、これも上位3位にランクインした。
• 未ラベルノードを用いた自己教師あり学習により、未ラベルデータの増加に伴い一貫した、単調な性能向上が得られた。
• 自己教師あり学習の正則化効果のおかげで、過学習を伴わず10倍の長さの訓練が可能になった。
• ノイズ付きノード正則化子は、深さに伴う一貫した性能向上を可能にする上で不可欠であり、これを除去すると浅いモデルと同等の性能に低下した。
• 1,024の隠れ次元を持つ広いメッセージ関数が、256の潜在次元を持つモデルよりも優れた性能を示し、スケールに伴うアーキテクチャハイパーパramータの感受性を示唆した。