[论文解读] Equivariant Message Passing Neural Network for Crystal Material Discovery

Astrid Klipfel, Olivier Peltre+4 more|arXiv (Cornell University)|Feb 1, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文提出EMPNN，一种新颖的等变消息传递神经网络，通过强制在欧几里得群 $Euc(3)$ 和整数特殊线性群 $ ext{SL}_3(/mathbb{Z})$ 下的不变性，对晶体晶格形变进行建模，实现了无监督的晶体生成与弛豫。该模型在晶格重构与去噪任务中达到最先进性能，优于不变基线模型和DFT，在关键指标上表现更优，得益于几何等变性与基于向量场的消息传递机制。

ABSTRACT

Automatic material discovery with desired properties is a fundamental challenge for material sciences. Considerable attention has recently been devoted to generating stable crystal structures. While existing work has shown impressive success on supervised tasks such as property prediction, the progress on unsupervised tasks such as material generation is still hampered by the limited extent to which the equivalent geometric representations of the same crystal are considered. To address this challenge, we propose EMPNN a periodic equivariant message-passing neural network that learns crystal lattice deformation in an unsupervised fashion. Our model equivalently acts on lattice according to the deformation action that must be performed, making it suitable for crystal generation, relaxation and optimisation. We present experimental evaluations that demonstrate the effectiveness of our approach.

研究动机与目标

• 解决现有用于晶体结构生成与弛豫的机器学习模型在几何等变性方面的不足。
• 开发一个通用框架，同时在 $Euc(3)$ 和 $\text{SL}_3(\mathbb{Z})$ 群作用下强制实现等变性，适用于周期性晶体晶格。
• 通过建模晶格形变而不依赖应力张量或标注力，实现无监督学习以促进晶体材料发现。
• 通过结构化的几何归纳偏置，提升晶格重构与去噪任务中的泛化能力与鲁棒性。
• 展示基于梯度与三元组导出的向量场在提升模型性能方面的有效性。

提出的方法

• 该模型采用一种对 $Euc(3)$ 和 $\text{SL}_3(\mathbb{Z})$ 等变的消息传递神经网络架构，确保在晶格形变下表示的一致性。
• 它使用多种向量场——包括基于边、不变量梯度以及三元组（角度与面积）的向量场——在消息传递过程中编码几何信息。
• 通过极分解引入对称矩阵以建模晶格形变，并采用放松的对称性约束（'sym'）以提升泛化能力。
• 损失函数被设计为最小化重构晶格参数（长度与角度）的平均绝对误差（MAE），包含 'ket-bra'、'gradient' 与 'triplets' 等变体。
• 该框架采用基于图的原子及其相对位置表示，通过节点间的消息传递以几何一致的方式更新潜在表示。
• 模型通过随机晶格形变进行无监督训练，无需真实应力或力张量作为监督信号。

实验结果

研究问题

• RQ1 无监督或无标注力的情况下，等变MPNN框架能否有效建模晶体晶格形变？
• RQ2 在 $\text{SL}_3(\mathbb{Z})$ 下强制等变性如何提升晶体结构重构与去噪任务中的泛化能力？
• RQ3 不同向量场定义（如基于梯度与基于三元组）对模型性能的相对影响如何？
• RQ4 EMPNN在从形变输入重构原始晶体晶格方面，与不变基线模型和DFT相比表现如何？
• RQ5 通过几何归纳偏置，模型能否在分布外晶体结构上实现泛化？

主要发现

• EMPNN在Carbon-24与Mp-20数据集上优于不变前馈基线模型（FF），晶格长度的MAE分别为0.200 Å与0.174 Å，而FF模型分别为0.469 Å与0.534 Å。
• 在Perov-5数据集中，由于结构为均匀立方，FF基线表现与EMPNN相近，这归因于归一化晶格参数表示，表明在高度对称情况下等变性带来的收益有限。
• DFT在Carbon-24与Mp-20上改善了晶格参数，但在Perov-5上未能实现改进，表明DFT在形变后远离局域能量极小值的晶体上表现不佳。
• 基于不变量梯度的向量场持续带来性能提升，尤其在2-图结构上表现更优；而基于三元组的向量场在结合面积与角度信息时表现更佳。
• 'ket-bra'向量场变体在1-图结构上表现最佳，而基于梯度的向量场在2-图结构上表现更优，凸显图结构在消息传递中的关键作用。
• EMPNN在所有数据集的晶格重构任务中均达到最低MAE，Carbon-24的晶格长度与角度误差分别为0.200 Å与3.199°，Mp-20分别为0.174 Å与1.965°，展现出强大的泛化能力与鲁棒性。