[論文レビュー] Very Deep Graph Neural Networks Via Noise Regularisation.

Jonathan Godwin, Michael Schaarschmidt+6 more|arXiv (Cornell University)|Jun 15, 2021

Machine Learning in Materials Science参考文献 53被引用数 11

ひとこと要約

本論文は、入力グラフにノイズを注入し、グラフ特性予測のためのノードオートエンコーダ損失を追加する、『ノイジィ・ノード』と呼ばれる新しい正則化技術を用いて、最大100ステップのメッセージパッシングを実現する深層グラフニューラルネットワーク（GNN）を提案する。この手法は、Open Catalyst 2020 IS2REおよびQM9ベンチマークで最先端の性能を達成し、適切に正則化された場合、より深いGNNが深さを増すにつれて性能が単調に向上することを示している。

ABSTRACT

Graph Neural Networks (GNNs) perform learned message passing over an input graph, but conventional wisdom says performing more than handful of steps makes training difficult and does not yield improved performance. Here we show the contrary. We train a deep GNN with up to 100 message passing steps and achieve several state-of-the-art results on two challenging molecular property prediction benchmarks, Open Catalyst 2020 IS2RE and QM9. Our approach depends crucially on a novel but simple regularisation method, which we call ``Noisy Nodes'', in which we corrupt the input graph with noise and add an auxiliary node autoencoder loss if the task is graph property prediction. Our results show this regularisation method allows the model to monotonically improve in performance with increased message passing steps. Our work opens new opportunities for reaping the benefits of deep neural networks in the space of graph and other structured prediction problems.

研究の動機と目的

• 従来の制限である、訓練の難易度のため、より深いGNNが性能向上を果たせないという問題を克服すること。
• 数層を超えるメッセージパッシングステップを増やすことで、グラフ特性予測タスクの性能向上が達成できるかどうかを調査すること。
• 非常に深いGNNの訓練を安定化させる正則化手法を開発すること。
• 適切に正則化された場合、より深いGNNが深さに応じて性能が単調に向上することを実証すること。

提案手法

• 訓練中に入力ノード特徴量にノイズを付加する『ノイジィ・ノード』正則化を導入する。
• 元のノード特徴量をノイズ入り入力から再構築するための補助的ノードオートエンコーダ損失を適用する。
• 最大100ステップのメッセージパッシング層を持つGNNを訓練する。これは、通常のGNNと比べて著しく深い。
• オートエンコーダ損失を正則化信号として用い、深層GNNの訓練を安定化させ、一般化性能を向上させる。
• 特に、すべてのノード上で損失を計算するノードオートエンコーダ損失を用いて、グラフ特性予測タスクに特化して適用する。

実験結果

リサーチクエスチョン

• RQ1 10ステップを超えるメッセージパッシングステップを持つGNNが、グラフ特性予測タスクで性能向上を達成できるか？
• RQ2 ノイズベースの正則化が、非常に深いGNNの安定した訓練を可能にするか？
• RQ3 適切に正則化された場合、深層GNNの性能が深さに応じて単調に向上するか？
• RQ4 『ノイジィ・ノード』手法は、多様な分子グラフベンチマークで有効であるか？

主な発見

• 提案手法は、Open Catalyst 2020 IS2REベンチマークで、先行手法を上回る最先端の性能を達成した。
• QM9データセットでは、新たな最先端の結果を達成し、予測精度の向上を示した。
• メッセージパッシングの深さを増すにつれて性能が単調に向上し、100層に達するまで安定した訓練と一般化を示した。
• 『ノイジィ・ノード』正則化は、深層GNNの効果的な訓練を可能にし、性能の低下を回避するために不可欠である。