[論文レビュー] Cormorant: Covariant Molecular Neural Networks

Brandon Anderson, Truong-Son Hy+1 more|arXiv (Cornell University)|Jun 6, 2019

Machine Learning in Materials Science参考文献 34被引用数 142

ひとこと要約

Cormorant は回転共変なニューラルネットワークで、分子ポテンシャルと基底状態特性を学習する。SO(3) 共変性活性化と Clebsch–Gordan 非線形性を使用し、MD-17で最先端の結果、QM9で競争力の性能を達成する。

ABSTRACT

We propose Cormorant, a rotationally covariant neural network architecture for learning the behavior and properties of complex many-body physical systems. We apply these networks to molecular systems with two goals: learning atomic potential energy surfaces for use in Molecular Dynamics simulations, and learning ground state properties of molecules calculated by Density Functional Theory. Some of the key features of our network are that (a) each neuron explicitly corresponds to a subset of atoms; (b) the activation of each neuron is covariant to rotations, ensuring that overall the network is fully rotationally invariant. Furthermore, the non-linearity in our network is based upon tensor products and the Clebsch-Gordan decomposition, allowing the network to operate entirely in Fourier space. Cormorant significantly outperforms competing algorithms in learning molecular Potential Energy Surfaces from conformational geometries in the MD-17 dataset, and is competitive with other methods at learning geometric, energetic, electronic, and thermodynamic properties of molecules on the GDB-9 dataset.

研究の動機と目的

• 対称性を意識したアーキテクチャで分子相互作用の学習を促進し、精度と物理的一貫性を向上させる。
• ニューロンが原子のサブセットに対応し、回転の下で活性化が共変変換する共変ニューラルネットワークCormorantを導入する。
• SO(3) 共変性を課すことでポテンシャルエネルギー面と基底状態の分子特性の学習が改善されることを示す。

提案手法

• 活性化をSO(3)ベクトル（スカラーと高次テンソル）として表現し、回転共変性を保証する。
• 非線形混合操作として Clebsch–Gordan (CG) 変換を用い、層を横断してテンソル成分を結合する。
• ニューロンを1体（原子）および2体（対）相互作用として、半径と距離ベースのゲーティングを採用する。
• 3部構成のネットワークを訓練する：入力特徴抽出、CG-Nav（共変）層、回転不変出力ヘッド。
• 各ニューロンが固定型SO(3)ベクトルを出力できるようにし、物理的多極フォームに類似した学習された相互作用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを回転に共変としつつ分子相互作用を学習するにはどう設計すればよいか。
• RQ2 CG非線形性を備えた共変アーキテクチャは既存のML力場を上回り、基底状態の分子特性を予測できるか。
• RQ3 activations を SO(3) テンソルとして表現することが MD および DFT由来のターゲットの学習精度に与える影響は何か。

主な発見

• Cormorant は MD-17 で分子ポテンシャルエネルギー面の学習において競合モデルを上回る。
• QM9 で、Cormorant はいくつかのターゲット（α, Δε, εHOMO, εLUMO, μ, Cv）で先頭または競争力のある結果を達成。
• QM9 全体で、12ターゲット中6つは先頭または競争力のある性能を示し、他は最良の40%以内（R^2は特に低い）。
• MD-17 では、同程度の訓練設定下で DeepMD、DTNN、SchNet、GDML、sGDML を上回る MAE を達成。