[论文解读] Gold-standard solutions to the Schrödinger equation using deep learning: How much physics do we need?

Leon Gerard, Michael Scherbela+2 more|arXiv (Cornell University)|May 19, 2022

Machine Learning in Materials Science被引用 6

一句话总结

该论文提出了一种用于变分蒙特卡洛（VMC）的深度学习架构，其在求解薛定谔方程时达到了黄金标准精度，与先前方法相比，能量误差降低了40–70%，计算成本降低了6倍。研究发现，过多的物理先验知识（如来自CASSCF的先验）会因优化偏差而降低性能，挑战了将近似解作为先验知识可提升性能的普遍假设。

ABSTRACT

Finding accurate solutions to the Schrödinger equation is the key unsolved challenge of computational chemistry. Given its importance for the development of new chemical compounds, decades of research have been dedicated to this problem, but due to the large dimensionality even the best available methods do not yet reach the desired accuracy. Recently the combination of deep learning with Monte Carlo methods has emerged as a promising way to obtain highly accurate energies and moderate scaling of computational cost. In this paper we significantly contribute towards this goal by introducing a novel deep-learning architecture that achieves 40-70% lower energy error at 6x lower computational cost compared to previous approaches. Using our method we establish a new benchmark by calculating the most accurate variational ground state energies ever published for a number of different atoms and molecules. We systematically break down and measure our improvements, focusing in particular on the effect of increasing physical prior knowledge. We surprisingly find that increasing the prior knowledge given to the architecture can actually decrease accuracy.

研究动机与目标

• 开发一种基于深度学习的变分蒙特卡洛方法，以在求解薛定谔方程时实现比现有方法更高的精度和更低的计算成本。
• 为原子和分子的最准确变分基态能量提供迄今为止发表过的最高精度基准测试。
• 系统性地研究在基于深度学习的量子化学中，物理先验知识在多大程度上能提升或阻碍模型性能。
• 挑战一种普遍假设，即在波函数近似中，更多的物理信息先验总是能带来更好的解。

提出的方法

• 该方法采用带有局部坐标输入特征的深度神经网络来建模多体波函数，确保旋转不变性与物理一致性。
• 采用包含精确对称性和库什条件的物理信息损失函数，以强制施加基本的量子力学约束。
• 通过变分蒙特卡洛与随机梯度下降联合训练，利用可微采样最小化能量期望值。
• 提出一种新颖的预训练策略，通过软性物理引导（如从Hartree-Fock或CASSCF进行权重初始化）加速收敛，而无需施加硬性约束。
• 该架构采用带有注意力机制的残差网络，以有效捕捉电子相关性和节点结构。
• 能量评估通过使用重要性采样的蒙特卡洛采样完成，以降低方差并提高收敛性。

实验结果

研究问题

• RQ1 将越来越多的物理先验知识（如来自Hartree-Fock或CASSCF）融入模型，是否能提升基于深度学习的VMC解的精度？
• RQ2 基于深度学习的模型能否在显著降低计算成本的前提下，实现对小原子和分子能量预测的黄金标准精度，优于现有方法？
• RQ3 为何在某些情况下，将CASSCF作为参考进行预训练反而导致性能劣于使用Hartree-Fock，尽管CASSCF是更精确的近似？
• RQ4 与学习到的先验相比，精确的物理约束（如反对称性和库什条件）在多大程度上能提升模型性能？
• RQ5 预训练策略的选择在多大程度上影响优化动力学和最终能量精度？

主要发现

• 所提方法相比先前基于深度学习的VMC方法（包括FermiNet），能量误差降低了40–70%，计算成本降低了6倍。
• 该模型在原子和分子的变分基态能量方面设定了新基准，包括第四周期元素和甘氨酸，其性能优于传统黄金标准方法（如MRCI-F12(Q)），精度高出约100 mHa。
• 出人意料的是，使用CASSCF作为预训练参考时，精度反而劣于使用Hartree-Fock，表明过度信息化的先验可能引入优化偏差。
• 使用CASSCF进行预训练或进行大量监督微调会降低最终精度，表明此类先验可能在变分优化过程中误导模型。
• 引入精确的物理约束（如反对称性和库什条件）可提升性能，而来自近似解的学习先验并不总能带来帮助，甚至可能损害结果。
• 该方法表明，基于深度学习的VMC现在可作为计算化学的新黄金标准，其精度和效率均优于经典方法及先前的深度学习方法。