[論文レビュー] Simple GNN Regularisation for 3D Molecular Property Prediction & Beyond

Jonathan Godwin, Michael Schaarschmidt+6 more|arXiv (Cornell University)|Jun 15, 2021

Machine Learning in Materials Science被引用数 8

ひとこと要約

この論文では、ノイズを用いて入力グラフ特徴を汚染し、ノードごとのデノイジング損失を追加することで過剰平滑化を軽減する、シンプルでありながら効果的なGNN正則化手法であるNoisy Nodesを紹介する。この手法は、潜在的なノード多様性と多様体学習を向上させ、3D分子性質予測ベンチマーク（OC20 IS2RE directで43%の向上を達成）およびOGBやGCNベースのモデルにおいて、最先端の性能を達成する。

ABSTRACT

In this paper we show that simple noise regularisation can be an effective way to address GNN oversmoothing. First we argue that regularisers addressing oversmoothing should both penalise node latent similarity and encourage meaningful node representations. From this observation we derive "Noisy Nodes", a simple technique in which we corrupt the input graph with noise, and add a noise correcting node-level loss. The diverse node level loss encourages latent node diversity, and the denoising objective encourages graph manifold learning. Our regulariser applies well-studied methods in simple, straightforward ways which allow even generic architectures to overcome oversmoothing and achieve state of the art results on quantum chemistry tasks, and improve results significantly on Open Graph Benchmark (OGB) datasets. Our results suggest Noisy Nodes can serve as a complementary building block in the GNN toolkit.

研究の動機と目的

• 複数のメッセージパッシング層を経るとノード表現が区別できなくなるGNNの過剰平滑化問題に対処すること。
• ノード表現の多様性と意味のある関係構造符号化を促進する正則化技術を開発すること。
• Noisy Nodesを組み合わせることで、単純で汎用的なGNNアーキテクチャが最先端の性能を達成できることを示すこと。
• 多様なGNNアーキテクチャやグラフ学習タスクに適用可能な補完的で即座に統合可能な正則化手法を提供すること。

提案手法

• 訓練中にランダムなノイズで入力ノード特徴を汚染することで、過剰に平滑化された表現を妨げる。
• ノイズ入り入力を元に元の特徴を再構築することを促進するノードごとのデノイジング損失を導入する。
• 主な予測損失と補助的なデノイジング損失の両方を組み合わせた損失関数でGNNを訓練し、頑健で多様なノード表現を促進する。
• 3D分子および非空間的グラフデータセットにおいて、グラフネットワークシミュレータ（GNS）、MPNN、GCNを含む多様なGNNアーキテクチャにこの手法を適用する。
• カテゴリカル特徴のランダムな反転や特徴ドロップアウトなどのノイズタイプを用い、主損失と補助損失の最適なバランスを求めるハイパーパrameterチューニングを実施する。
• デノイジング目的を活用して、データの潜在的多様体を暗黙的に学習し、一般化性能と過剰平滑化に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 シンプルでノイズに基づく正則化手法が、多様なアーキテクチャやデータセットにおいてGNNの過剰平滑化を効果的に軽減できるか？
• RQ2 ノイズ汚染とデノイジング損失の組み合わせが、ノード表現の多様性とグラフレベルの予測性能を向上させるか？
• RQ3 Noisy Nodesにより、従来非競争的であった浅いGNNや他の性能が低かったGNN（例：GNSアーキテクチャ）が、3D分子性質予測タスクで最先端の結果を達成できるか？
• RQ4 DropEdge や DropNode といった既存の正則化手法と比較して、Noisy Nodesは過剰平滑化の問題に対してどのように優れているか？
• RQ5 Noisy Nodesの利点はモデルの深さに比例して拡大するか？また、深さがもともと効果がなかったタスクにおいて、より深いGNNが浅いものよりも優れた性能を発揮できるか？

主な発見

• Noisy Nodesは、OC20 IS2RE direct分子性質予測ベンチマークで、先行研究比43%の向上を達成した。
• OGBG-PCQM4Mv1におけるMPNNの性能は28.1% ± 0.002のMean Average Precisionに向上し、ベースラインモデルを上回った。
• OGBN-Arxivで4層のGCNにNoisy Nodesを適用したところ、精度は71.71%から72.52%に向上し、単純なGNNに対しても有効であることが示された。
• この手法により、従来非競争的であったGNSアーキテクチャが、QM9やOC20を含む3つの3D分子タスクで最先端の結果を達成した。
• 検証曲線から、トレーニング全体にわたりNoisy Nodesが一貫した性能向上を示しており、安定的かつ効果的な正則化であることが確認された。
• この手法はモデルの深さにわたり有効であり、非常に深いアーキテクチャでは効果の逓減が見られたが、深さと正則化のバランスが重要であることが示唆された。