[論文レビュー] Deep Molecular Representation Learning via Fusing Physical and Chemical Information

Shuwen Yang, Ziyao Li+2 more|arXiv (Cornell University)|Nov 28, 2021

Machine Learning in Materials Science被引用数 9

ひとこと要約

本論文は、分子動力学をシミュレートしてコンformationを学習する物理学者ネットワーク（PhysNet）と、幾何学に配慮したメッセージパッシングを用いて化学的性質を予測する化学者ネットワーク（ChemNet）を組み合わせることで、物理的および化学的情報を統合する新しい深層学習アーキテクチャ、PhysChemを提案する。2つのネットワークを協調的なメカニズムで共同で訓練することで、構造的および力の情報を共有し、推論時にラベル付きコンformationを必要としない正確な表現学習を実現した。このモデルは、MoleculeNetおよびSARS-CoV-2データセットで最先端の性能を達成した。

ABSTRACT

Molecular representation learning is the first yet vital step in combining deep learning and molecular science. To push the boundaries of molecular representation learning, we present PhysChem, a novel neural architecture that learns molecular representations via fusing physical and chemical information of molecules. PhysChem is composed of a physicist network (PhysNet) and a chemist network (ChemNet). PhysNet is a neural physical engine that learns molecular conformations through simulating molecular dynamics with parameterized forces; ChemNet implements geometry-aware deep message-passing to learn chemical / biomedical properties of molecules. Two networks specialize in their own tasks and cooperate by providing expertise to each other. By fusing physical and chemical information, PhysChem achieved state-of-the-art performances on MoleculeNet, a standard molecular machine learning benchmark. The effectiveness of PhysChem was further corroborated on cutting-edge datasets of SARS-CoV-2.

研究の動機と目的

• 既存の分子表現学習手法が物理的および化学的本質を無視するという限界に対処するため、両者の視点を統合的な深層学習フレームワークに統合すること。
• 専用のネットワークが協調的に学習することで、分子コンformationと化学的性質を同時に学習するニューラルアーキテクチャを開発すること。
• 推論時にラベル付き3次元コンformationに依存しないように、PhysNetを用いてコンformationを完全から生成する訓練を実施すること。
• ドメイン特化した物理的および化学的インダクティブバイアスを組み込むことで、分子表現学習における汎化性と解釈可能性を向上させること。
• MoleculeNetおよび新興のSARS-CoV-2データセットを含む標準ベンチマークで優れた性能を示すこと。

提案手法

• PhysChemは2つの専門家ネットワークから構成される：PhysNetは、学習されたパrameter化された力を使って分子動力学をシミュレートするニューラル物理エンジンであり、安定した分子コンformationを予測する。
• ChemNetは、局所的な分子幾何構造と化学的環境に基づいて原子状態と結合状態を学習する、幾何学に配慮したメッセージパッシングフレームワークを採用する。
• 2つのネットワークは専門知識を共有することで協調する：PhysNetはChemNetの結合表現を用いてねじれ力（torsion forces）を計算し、ChemNetはPhysNetの中間的コンformationをメッセージパッシングの更新に活用する。
• モデルは、空間不変のコンformation損失（PhysNet用）と性質予測損失（ChemNet用）を組み合わせたマルチタスク損失でエンドツーエンドに訓練され、ハイパーパrameter λ によって重み付けされる。
• PhysNetは入力特徴から暗黙の原子位置と運動量を初期化し、古典力学を用いて系を進化させ、最終的なコンformationはデカルト座標におけるL2損失で監視される。
• ChemNetは集約された原子状態から分子表現を出力し、溶解度や毒性などのラベル付き化学的および生物医学的性質を用いて監視される。

実験結果

リサーチクエスチョン

• RQ1 物理的ダイナミクスと化学的相互作用を明示的にモデル化する二重ネットワークアーキテクチャが、分子表現学習を統合的に改善できるか？
• RQ2 物理的インスピレーションを持つネットワークと化学的感度を持つネットワークの協調は、標準的なマルチタスク学習や独立モデルよりも優れた性能をもたらすか？
• RQ3 推論時にラベル付き3次元構造に依存せずに、モデルが正確な分子コンformationをどれほど正確に学習できるか？
• RQ4 物理的および化学的インダクティブバイアスを組み込むことで、SARS-CoV-2の薬物標的予測のような構造依存性の高い複雑なタスクでの性能にどのような影響を与えるか？
• RQ5 共同訓練設定において、コンformation学習と性質予測の最適なトレードオフは何か？

主な発見

• PhysChemは、QM9を含むMoleculeNetの全回帰タスクで最先端の性能を達成し、LipophilicityデータセットではRMSE 0.568 ± 0.014を記録し、AttentiveFP や CMPNN などの先行手法を上回った。
• FreeSolvデータセットでは、PhysChemはRMSE 0.692 ± 0.112を達成し、ChemNet（rdkit conf.）の0.663 ± 0.029 よりも顕著に優れており、希釈な物理化学データにおける一般化性能の向上を示した。
• SARS-CoV-2データセットでは、PhysChemはMulti-AUC 0.792 ± 0.013を達成し、評価された全モデルの中で最高値を記録し、複雑で構造依存性の高いタスクにおける優れた性能を示した。
• アブレーションスタディの結果、PhysChemにおける協調メカニズムが不可欠であることが判明した。単純なマルチタスク戦略（ChemNet s.a.）では負の転送が生じたが、PhysChemの設計はこの問題を回避した。
• 可視化結果から、PhysChemは、結合長、結合角、芳香族性平面性などの局所的構造的特徴を、ベースラインと比較してよりよく保持していることが確認された。
• ハイパーパrameter分析から、λ ≤ 0.1 がコンformation学習と性質予測の最適なバランスを実現することが判明した。λが高くなると、性質予測性能が低下した。