[论文解读] Cormorant: Covariant Molecular Neural Networks

Brandon Anderson, Truong-Son Hy+1 more|arXiv (Cornell University)|Jun 6, 2019

Machine Learning in Materials Science参考文献 34被引用 142

一句话总结

Cormorant 是一个具有旋转协变性的神经网络，用于学习分子势能和基态性质，采用 SO(3) 协变激活和 Clebsch–Gordan 非线性实现，在 MD-17 上达到最先进的结果，在 QM-9 上表现具有竞争力。

ABSTRACT

We propose Cormorant, a rotationally covariant neural network architecture for learning the behavior and properties of complex many-body physical systems. We apply these networks to molecular systems with two goals: learning atomic potential energy surfaces for use in Molecular Dynamics simulations, and learning ground state properties of molecules calculated by Density Functional Theory. Some of the key features of our network are that (a) each neuron explicitly corresponds to a subset of atoms; (b) the activation of each neuron is covariant to rotations, ensuring that overall the network is fully rotationally invariant. Furthermore, the non-linearity in our network is based upon tensor products and the Clebsch-Gordan decomposition, allowing the network to operate entirely in Fourier space. Cormorant significantly outperforms competing algorithms in learning molecular Potential Energy Surfaces from conformational geometries in the MD-17 dataset, and is competitive with other methods at learning geometric, energetic, electronic, and thermodynamic properties of molecules on the GDB-9 dataset.

研究动机与目标

• 以对称性感知架构激励分子相互作用的学习，以提高准确性和物理合理性。
• 引入 Cormorant，一种协变神经网络，其中神经元对应于原子子集，激活在旋转下协变变换。
• 证明强制 SO(3) 协变性能够改善势能面的学习以及基态分子性质的学习。

提出的方法

• 将激活表示为 SO(3) 向量（标量及高阶张量）以确保旋转协变。
• 将 Clebsch–Gordan (CG) 变换用作非线性混合运算，以在各层之间耦合张量分量。
• 将神经元结构化为一体（原子）与二体（成对）相互作用，并具备径向和基于距离的门控。
• 训练一个三部分网络：输入特征化、CG-Nav（协变）层，以及旋转不变的输出头。
• 允许每个神经元输出固定类型的 SO(3) 向量，使学习到的相互作用类似于物理多极形式。

实验结果

研究问题

• RQ1 如何在学习分子相互作用的同时设计对旋转协变的神经网络？
• RQ2 带有 CG 非线性性的协变结构是否能超越现有的机器学习力场并预测基态分子性质？
• RQ3 将激活表示为 SO(3) 张量对 MD 与基于 DFT 的目标的学习精度有何影响？

主要发现

• Cormorant 在 MD-17 上学习分子势能面方面优于竞争模型。
• 在 QM9 上，在若干目标（α、Δε、εHOMO、εLUMO、μ、Cv）取得领先或竞争性结果。
• 在 QM9 中，12 个目标中有 6 个表现领先或具有竞争力，其他的也在最好结果的 40% 之内（R^2 明显较低）。
• 对于 MD-17，在可比较的训练设置下，Cormorant 在评估分子上的 MAE 优于 DeepMD、DTNN、SchNet、GDML 以及 sGDML。