[論文レビュー] Does GNN Pretraining Help Molecular Representation?

Ruoxi Sun, Dai, Hanjun+1 more|arXiv (Cornell University)|Jul 13, 2022

Machine Learning in Materials ScienceMaterials Science被引用数 18

ひとこと要約

本論文は、小規模な分子データセットにおける分子表現学習において、自己教師付きグラフニューラルネットワーク（GNN）事前学習が改善をもたらすかを調査している。pretraining目的、データ分割、特徴量、ハイパーパrameterのあらゆる側面において体系的なアブレーションスタディを実施した結果、事前学習がランダム初期化からの学習に対して統計的に有意な向上をもたらさないことが多く、ハイパーパrameterチューニングや特徴工学が事前学習の利点を上回ることがあることが明らかになった。これは、分子AIにおけるGNN事前学習の普遍的効果という仮定に疑問を呈するものである。

ABSTRACT

Extracting informative representations of molecules using Graph neural networks (GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self-supervised pretraining in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised pretraining on small molecular data can be negligible in many cases. We conduct thorough ablation studies on the key components of GNN pretraining, including pretraining objectives, data splitting methods, input features, pretraining dataset scales, and GNN architectures, to see how they affect the accuracy of the downstream tasks. Our first important finding is, self-supervised graph pretraining do not always have statistically significant advantages over non-pretraining methods in many settings. Secondly, although noticeable improvement can be observed with additional supervised pretraining, the improvement may diminish with richer features or more balanced data splits. Thirdly, hyper-parameters could have larger impacts on accuracy of downstream tasks than the choice of pretraining tasks, especially when the scales of downstream tasks are small. Finally, we provide our conjectures where the complexity of some pretraining methods on small molecules might be insufficient, followed by empirical evidences on different pretraining datasets.

研究の動機と目的

• 自己教師付きGNN事前学習が、分子特性予測タスクにおいて一貫したパフォーマンス向上をもたらすかどうかを評価すること。
• データ分割、入力特徴量、pretraining目的、ハイパーパrameterといった主要な実験要因が下流タスクのパフォーマンスに与える影響を分離・分析すること。
• 特に小規模データセットにおいて、事前学習が分子表現学習を普遍的に改善するという仮定に疑問を呈すること。
• 一部のpretraining手法が、下流の分子タスクに知識を効果的に伝えることができない理由を調査すること。
• 事前学習の利点が隠されたり誇張されたりする要因を特定することで、今後の研究を導くこと。

提案手法

• 著者らは、pretraining目的（自己教師付き、教師あり、両方）、入力特徴量（基本的 vs. 拡張）、データ分割（スケルトン vs. バランス）、GNNアーキテクチャ（GIN, GraphSage）を変化させた13の実験設定において体系的なアブレーションスタディを実施した。
• 標準的なバイナリ分類指標を用いて、BBBP、BACE、TOX21、TOXCAST、SIDERの5つのベンチマーク分子データセットで性能を評価し、統計的信頼性を確保するため繰り返し実験を実施した。
• ZINC15 や SAVI といった大規模なラベルなしデータセットで事前学習した後、微調整するモデルと、ランダム初期化から学習を開始するモデルを比較した。
• 各設定に対してハイパーパrameterサーチを実施し、学習率やトレーニング繰り返し回数を変化させることで感度を評価した。
• 実験結果を異なる設定間で比較することで、特徴工学やデータ分割戦略といった要因が事前学習の貢献をどの程度分離できるかを特定した。
• GROVER や Hu et al. の先行研究の結果を再現することで、実験パイプラインの妥当性を検証し、再現性を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模な分子グラフ上で自己教師付き事前学習を実施すると、下流の分子特性予測タスクで統計的に有意な向上が得られるか？
• RQ2 データ分割戦略（例：スケルトン分割 vs. ランダム分割）は、事前学習の恩恵にどのように影響するか？
• RQ3 手作業で作成した特徴量やハイパーパrameterチューニングの効果は、事前学習による向上をどれほど上回るのか？
• RQ4 自己教師付き事前学習の後に教師あり事前学習を追加することで一貫した向上が得られるか？また、どのような条件下でその向上が薄れるのか？
• RQ5 現在の事前学習目的が、小規模な分子データセットに知識を効果的に伝えることができない理由は何か？

主な発見

• 自己教師付き事前学習のみでは、ほとんどの分子ベンチマークタスクにおいて、ランダム初期化からの学習と比較して統計的に有意なパフォーマンス向上が得られない。
• 自己教師付き事前学習の後に教師あり事前学習を追加すると向上が見られるが、より豊富な入力特徴量が使用されると、その向上はわずかになったり、消失する傾向にある。
• ハイパーパrameterの選択、特に学習率やトレーニング繰り返し回数が、pretraining目的の選択よりも、特に小規模データセットでは下流の精度に大きな影響を与える。
• データ分割法は結果に顕著な影響を与える：スケルトン分割では事前学習の恩恵が隠されがちだが、バランス分割ではより一貫した傾向が明確に現れる。
• 先行研究の強い事前学習効果の主張を再現するには、広範なハイパーパラメータチューニングが必要であり、一部のケースでは報告された向上が事前学習そのものよりも実験設定の影響によるものである可能性がある。
• 著者らは、現在の事前学習目的の複雑さが小分子に対しては不十分であり、伝達可能な知識が限られている可能性があると仮説を立てている。