[論文レビュー] HamNet: Conformation-Guided Molecular Representation with Hamiltonian Neural Networks

Ziyao Li, Shu-Wen Yang+2 more|arXiv (Cornell University)|May 8, 2021

Machine Learning in Materials Science参考文献 27被引用数 6

ひとこと要約

HamNetは、学習可能なエネルギー関数および散逸関数を備えた微分可能ハミルトニアンニューラルネットワークを用いて、2次元構造から3次元分子コンformationを予測する、物理にインspiredされた分子表現手法を導入する。この手法は、コンformation予測とメッセージパッシング特徴抽出器を統合することで、MoleculeNetベンチマークで最先端の性能を達成する。

ABSTRACT

Well-designed molecular representations (fingerprints) are vital to combine medical chemistry and deep learning. Whereas incorporating 3D geometry of molecules (i.e. conformations) in their representations seems beneficial, current 3D algorithms are still in infancy. In this paper, we propose a novel molecular representation algorithm which preserves 3D conformations of molecules with a Molecular Hamiltonian Network (HamNet). In HamNet, implicit positions and momentums of atoms in a molecule interact in the Hamiltonian Engine following the discretized Hamiltonian equations. These implicit coordinations are supervised with real conformations with translation- & rotation-invariant losses, and further used as inputs to the Fingerprint Generator, a message-passing neural network. Experiments show that the Hamiltonian Engine can well preserve molecular conformations, and that the fingerprints generated by HamNet achieve state-of-the-art performances on MoleculeNet, a standard molecular machine learning benchmark.

研究の動機と目的

• 2次元分子グラフから3次元分子コンformationを学習するための微分可能で物理にインスパイアされた手法の開発。
• 従来の3次元分子特徴抽出手法の限界、特に高い計算コストと並進・回転不変性の欠如を克服すること。
• ハミルトニアン力学という物理法則を深層学習アーキテクチャに統合することで、分子表現学習の向上を図ること。
• 2次元および3次元ベースラインと比較して、分子性質予測タスクにおける優れた性能を達成すること。
• 不変な監視損失関数を用いて、コンformationと特徴抽出のエンドツーエンド訓練を可能にすること。

提案手法

• ハミルトニアンエンジンは、原子の位置と運動量を暗黙的変数としてモデル化し、学習可能なエネルギー関数および散逸関数を用いた離散化ハミルトニアン方程式に従って時間発展させる。
• 並進および回転不変性を強制する新しい損失関数を用いてトレーニングを行うことで、座標系の変更に対して頑健であることを保証する。
• 実際の分子コンformationを、ハミルトニアンエンジンが予測する最終位置の教師信号として用いる。
• 予測された3次元座標を、最終的な分子特徴抽出を生成するための修正版メッセージパッシングニューラルネットワーク（MPNN）に供給する。
• 幾何的情報を保持するように再設計されたMPNNを用いて、原子特徴と学習されたコンformationを統合する。
• 全体のフレームワークはエンドツーエンド微分可能であり、コンformation予測と特徴抽出生成の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能で物理に基づいたニューラルネットワークは、2次元分子構造から分子コンformationを効果的に予測できるか？
• RQ2 ハミルトニアン力学を組み込むことで、標準的なMPNNや2次元特徴抽出と比較して、分子表現学習がどの程度向上するか？
• RQ3 並進および回転不変損失関数は、コンformation予測の一般化性と頑健性をどの程度向上させるか？
• RQ4 ハミルトニアンベースのアプローチは、標準ベンチマークにおいて、既存の3次元および2次元分子特徴抽出手法を上回ることができるか？
• RQ5 ステップサイズ、深さ、潜在次元性といったハイパーパrameterが、ハミルトニアンエンジンの性能と効率に与える影響はどの程度か？

主な発見

• ハミルトニアンエンジンは、従来の幾何的およびニューラルベースラインを上回る、最先端のコンformation予測性能を達成する。
• MoleculeNetにおいて、HamNetはMulti-MAE 1.194 ± 0.038を達成し、以前のSOTAであるAttentive FP（1.292）および3DGCN（–）を上回る。
• ESOLデータセットでは、RMSE 0.731 ± 0.024を達成し、Attentive FP（0.736）および3DGCN（0.824 ± 0.014）を上回る。
• ハイパーパrameterの選択に対して頑健であり、最適な性能はステップサイズ η ∈ [0.025, 0.050] および深さ T ≈ 25–30 で達成される。
• 潜在次元性（df）を32まで増加させることで性能が顕著に向上するが、実行時間はほとんど変化しない。
• 不変損失関数の使用により、空間上での正準化が不要な状態で効果的な学習が可能になる。