[論文レビュー] Advanced Graph and Sequence Neural Networks for Molecular Property Prediction and Drug Discovery

Zhengyang Wang, Meng Liu+9 more|arXiv (Cornell University)|Dec 2, 2020

Computational Drug Discovery Methods被引用数 4

ひとこと要約

本論文は、高度なグラフおよびシーケンスニューラルネットワークを統合した包括的な機械学習フレームワークであるAdvPropを紹介する。グラフベースの学習にはマルチレベルメッセージパッシングニューラルネットワーク（ML-MPNN）を、シーケンスモデリングにはマスク埋め込み回復を用いたコントラスト学習を組み合わせたコントラスト-BERTモデルを提案し、新たなAUC指向損失関数により最適化することで、最先端の性能を達成した。特に、COVID-19薬物発見のためのAI Curesオープンチャレンジにおいて、ROC-AUCおよびPRC-AUCの両面で1位を獲得した。

ABSTRACT

Properties of molecules are indicative of their functions and thus are useful in many applications. With the advances of deep learning methods, computational approaches for predicting molecular properties are gaining increasing momentum. However, there lacks customized and advanced methods and comprehensive tools for this task currently. Here we develop a suite of comprehensive machine learning methods and tools spanning different computational models, molecular representations, and loss functions for molecular property prediction and drug discovery. Specifically, we represent molecules as both graphs and sequences. Built on these representations, we develop novel deep models for learning from molecular graphs and sequences. In order to learn effectively from highly imbalanced datasets, we develop advanced loss functions that optimize areas under precision-recall curves. Altogether, our work not only serves as a comprehensive tool, but also contributes towards developing novel and advanced graph and sequence learning methodologies. Results on both online and offline antibiotics discovery and molecular property prediction tasks show that our methods achieve consistent improvements over prior methods. In particular, our methods achieve #1 ranking in terms of both ROC-AUC and PRC-AUC on the AI Cures Open Challenge for drug discovery related to COVID-19. Our software is released as part of the MoleculeX library under AdvProp.

研究の動機と目的

• グラフ表現とシーケンス表現を統合した包括的で統一的なフレームワークを構築し、分子特性予測を実現すること。
• 分子特性予測における極めて不均衡なデータセットの課題に、新たなAUC指向損失関数を用いて対処すること。
• 大規模なラベルなし分子シーケンスを用いた自己教師付き事前学習を組み込むことで、モデルの汎化性能と性能を向上させること。
• 現実世界の制約下での薬物発見を想定した状況において、分子特性予測分野で新たな最先端の結果を確立すること。
• MoleculeXライブラリ内に公開可能なモジュラーなツールセット（AdvProp）をリリースし、再現可能でスケーラブルな研究を可能にすること。

提案手法

• ノード、エッジ、部分グラフ、および完全な分子グラフの全レベルにわたる情報集約を可能にするマルチレベルメッセージパッシングニューラルネットワーク（ML-MPNN）を提案し、階層的な構造的依存関係を捉える。
• マスクされた埋め込み回復タスクとコントラスト学習を組み合わせた、大規模なラベルなしSMILESシーケンスで事前学習可能な、シーケンスベースのモデルであるコントラスト-BERTを導入。
• 再現性の高い精度-再現率曲線（PRC-AUC）の最適化のための代理損失関数を採用し、特にマージンベースの順序付けを用いたAPベースの代理損失により、不均衡データに対するモデルのロバスト性を向上。
• SOAP-ADAMおよびPESGを用いた確率的最適化により、AUC指標を直接最適化し、評価基準との整合性を高めるために、標準的な交差エントロピー損失に代わる手法を採用。
• マスクされたトークンの予測とその文脈埋め込みの間のコサイン類似度に基づくコントラスト損失関数を適用し、シーケンスモデルにおける表現学習を強化。
• RDKitを用いて抽出した200次元のグローバル分子特徴量と、グラフレベルの表現を2層のMLPで統合し、最終的な予測を実現。

実験結果

リサーチクエスチョン

• RQ1 グラフとシーケンスのディープラーニングモデルを統合した統一フレームワークは、従来の最先端手法を上回る分子特性予測性能を達成できるか？
• RQ2 新規に提案されたAUC指向損失関数は、標準的な交差エントロピー損失と比較して、極めて不均衡な分子特性データセットの処理においてどれほど有効であるか？
• RQ3 マスク埋め込み回復による自己教師付き事前学習は、下流の分子特性予測性能をどの程度向上させるか？
• RQ4 グラフニューラルネットワークにおけるマルチレベルメッセージパッシングは、標準的なメッセージパッシングに比べ、より豊かな構造的情報を捉えることができるか？また、その結果、性能向上が見られるか？
• RQ5 グラフモデリングとシーケンスモデリングの組み合わせは、多様な分子予測タスクにおいて補完的な信号を提供し、一貫した性能向上をもたらすか？

主な発見

• AdvPropは、COVID-19薬物発見のためのAI Curesオープンチャレンジにおいて、ROC-AUCおよびPRC-AUCの両面で1位を達成し、提出されたすべての手法を上回った。
• 提案されたML-MPNNモデルは、複数のグラフレベルにわたる複雑な構造的依存関係を捉える能力を示し、分子特性予測ベンチマークで最先端の性能を発揮した。
• マスク埋め込み回復を用いたコントラスト-BERTモデルは、下流タスクで優れた性能を発揮し、大規模なラベルなしSMILESデータに対する自己教師付き事前学習の有効性を示した。
• AUC指向損失関数、特にAPベースの代理損失は、不均衡データセット、特に精度-再現率空間におけるモデル性能を顕著に向上させた。
• グローバル分子特徴量とグラフレベル表現の統合により、複数のデータセットおよびタスクで一貫した性能向上が得られた。
• MoleculeXライブラリを通じたAdvPropのオープンソースリリースにより、薬物発見研究における提案モデルおよびツールの再現可能でスケーラブルな利用が可能になった。