[論文レビュー] GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction

Shuangli Li, Jingbo Zhou+3 more|arXiv (Cornell University)|Sep 24, 2021

Computational Drug Discovery Methods被引用数 11

ひとこと要約

GeomGCLは、二重ビューの幾何的メッセージパッシングネットワーク（GeomMPNN）と2D-3Dの対照的学習方式を用いて、2Dおよび3Dの分子グラフ表現を統合する幾何的グラフ対照的学習フレームワークを提案する。データ拡張を用いないまま幾何的構造学習と表現アライメントを同時に最適化することで、強力なベースライン比で分類精度を2.18%、回帰精度を10.4%向上させ、最先端の性能を達成した。

ABSTRACT

Recently many efforts have been devoted to applying graph neural networks (GNNs) to molecular property prediction which is a fundamental task for computational drug and material discovery. One of major obstacles to hinder the successful prediction of molecule property by GNNs is the scarcity of labeled data. Though graph contrastive learning (GCL) methods have achieved extraordinary performance with insufficient labeled data, most focused on designing data augmentation schemes for general graphs. However, the fundamental property of a molecule could be altered with the augmentation method (like random perturbation) on molecular graphs. Whereas, the critical geometric information of molecules remains rarely explored under the current GNN and GCL architectures. To this end, we propose a novel graph contrastive learning method utilizing the geometry of the molecule across 2D and 3D views, which is named GeomGCL. Specifically, we first devise a dual-view geometric message passing network (GeomMPNN) to adaptively leverage the rich information of both 2D and 3D graphs of a molecule. The incorporation of geometric properties at different levels can greatly facilitate the molecular representation learning. Then a novel geometric graph contrastive scheme is designed to make both geometric views collaboratively supervise each other to improve the generalization ability of GeomMPNN. We evaluate GeomGCL on various downstream property prediction tasks via a finetune process. Experimental results on seven real-life molecular datasets demonstrate the effectiveness of our proposed GeomGCL against state-of-the-art baselines.

研究の動機と目的

• 分子性質予測におけるラベル付きデータの限界を、幾何的構造を活用することで克服すること。
• データ拡張に依存する既存のグラフ対照的学習手法の限界を克服し、分子の意味的特性を損なうリスクを回避すること。
• より強固で表現力のある分子表現学習のため、2Dおよび3Dの分子幾何的情報を統合すること。
• 分子構造を変更せずに2Dおよび3Dのビューをアライメントする対照的学習戦略を開発すること。
• 幾何的スーパービジョンを用いて、分子性質予測タスクにおける一般化性能と予測性能を向上させること。

提案手法

• 距離および角度特徴を用いて、2Dおよび3Dの分子グラフを別々に処理する二重チャネルの幾何的メッセージパッシングネットワーク（GeomMPNN）を提案する。
• 2Dおよび3Dのビュー間の表現をアライメントすることで特徴学習を強化する、2D-3Dの幾何的対照的学習方式を導入する。
• 3Dの角度ドメインにおける意味のある幾何的関係を捉えるよう促すために、空間正則化損失 $\mathcal{L}^s$ を採用する。
• 同一分子の2Dおよび3Dビュー（ポジティブペア）の表現を類似させるとともに、ネガティブペアを遠ざける対照的目的関数を用いる。
• 自己教師付き事前学習ステージを実施し、その後、下流の性質予測タスクで微調整を実施する。
• RDKitを用いて3Dコンformationを生成し、SMILES表記から直接2Dグラフを構築する。

実験結果

リサーチクエスチョン

• RQ1 2Dおよび3Dの分子幾何的ビューからの共同学習は、分子表現学習を向上させることができるか？
• RQ2 データ拡張を用いない2D-3D幾何的アライメントに基づく対照的学習方式は、一般化性能を向上させることができるか？
• RQ3 異なるビュー間での幾何的特徴（距離および角度）の統合は、下流の性質予測にどのような影響を与えるか？
• RQ4 対照的学習目的関数における2Dおよび3Dの幾何的スーパービジョンの最適なバランスは何か？
• RQ5 幾何的対照的学習は、標準的なGNNおよび既存のGCL手法を上回る性能を発揮できるか？

主な発見

• GeomGCLは、7つの実世界の分子データセットにおいて最先端の性能を達成し、分類および回帰タスクの両方で強力なベースラインを上回った。
• 最良のベースラインモデル比で、分類精度を2.18%、回帰性能を10.4%向上させた。
• アブレーションスタディの結果、2Dおよび3Dの両方のビューを用いることが不可欠であることが確認され、単一ビューのモデル（GeomMPNN-2D または -3D）は性能が劣ることがわかった。
• 空間正則化損失 $\mathcal{L}^s$ を削除すると性能が著しく低下し、幾何的構造を捉える上でその重要性が示された。
• 対照的学習部（GeomGCL）を導入することで、対照的学習なしのGeomMPNNに比べて性能が顕著に向上し、その有効性が裏付けられた。
• 空間正則化損失の最適なトレードオフ重み $\lambda$ が存在し、性能はピークに達した後低下する傾向を示しており、感度は高いが安定したハイパーパramータ設定であることがわかった。