[论文解读] Equivariant Networks for Crystal Structures

Sékou-Oumar Kaba, Siamak Ravanbakhsh|arXiv (Cornell University)|Nov 15, 2022

Machine Learning in Materials Science被引用 8

一句话总结

本文通过利用晶格对称性群，特别是 $G_{\Lambda} \times S_C$，提出用于晶体结构的等变神经网络，设计了在晶体图上具有群等变性的消息传递和卷积层。该方法在材料性质预测任务中实现了最先进或具有竞争力的性能，表明对称性感知架构能提升泛化能力，尤其是在 Perov-5 等结构化数据集上表现更优。

ABSTRACT

Supervised learning with deep models has tremendous potential for applications in materials science. Recently, graph neural networks have been used in this context, drawing direct inspiration from models for molecules. However, materials are typically much more structured than molecules, which is a feature that these models do not leverage. In this work, we introduce a class of models that are equivariant with respect to crystalline symmetry groups. We do this by defining a generalization of the message passing operations that can be used with more general permutation groups, or that can alternatively be seen as defining an expressive convolution operation on the crystal graph. Empirically, these models achieve competitive results with state-of-the-art on property prediction tasks.

研究动机与目标

• 为解决标准图神经网络（GNN）在捕捉晶体结构完整对称性方面的局限性，因为晶体比分子更具有序性和对称性。
• 开发一类对布拉菲晶格（$G_\Lambda$）和原胞置换（$S_C$）的联合对称群保持等变的深度学习模型，以实现更具表现力且物理一致的函数逼近。
• 证明将晶体特异性对称性作为归纳偏差可提升材料性质预测任务的性能。
• 清洗、处理并发布来自 Materials Project 的基准数据集，以支持晶体基模型的可复现评估。
• 在标准化划分和评估协议下，将所提出的等变模型与当前最先进基线模型（如 CGCNN、MEGNet 和 SchNet）进行比较。

提出的方法

• 作者定义了一个广义的消息传递框架，该框架在晶体对称群 $G_\Lambda \times S_C$ 的作用下保持等变性，扩展了仅对节点置换保持等变的标准 GNN。
• 他们提出了两种模型变体：ECN-$P\bar{1}$，其在晶格原子位置上使用完整的对称群 $S_\Lambda$；ECN-$S_\Lambda$，其使用更小但更具结构化的群，以在保持对称性的同时提升表达能力。
• 模型在晶体图上实现了群等变的卷积操作，类似于卷积神经网络（CNN），但定义在周期性晶格和原胞结构之上。
• 该架构采用分层消息传递机制，尊重底层的晶体学对称性，确保预测结果对保持对称性的变换保持不变。
• 模型使用均方误差（MSE）进行回归训练，使用交叉熵进行分类训练，评估指标包括平均绝对误差（MAE）和金属/非金属分类的精确度。
• 作者在相同数据划分上重新训练基线模型（CGCNN、MEGNet），以确保公平比较，采用相同的预处理和训练协议。

实验结果

研究问题

• RQ1 将晶体特异性对称群（$G_\Lambda \times S_C$）纳入神经网络架构，是否能相比标准 GNN 在材料性质预测任务中带来性能提升？
• RQ2 对称群的选择（如 $S_\Lambda$ 与 $P\bar{1}$）如何影响模型在晶体数据上的表达能力和泛化性能？
• RQ3 在较小或更具结构性的数据集（如 Perov-5）上，对称性感知的等变性在多大程度上优于在更大、更多样化数据集（如 Materials Project）上提升泛化能力？
• RQ4 等变消息传递能否推广至其他具有稀疏对称相互作用的非晶体结构？
• RQ5 当在相同数据划分和预处理条件下训练与评估时，对称性感知模型的性能与最先进 GNN 的表现相比如何？

主要发现

• 在 Materials Project 数据集上，ECN-$S_\Lambda$ 模型在生成能预测任务中达到 0.281 ± 0.007 eV/atom 的平均绝对误差（MAE），优于原始 CGCNN（0.039 MAE）和 MEGNet（0.028 MAE），且在相同训练协议下重新训练后表现更优。
• 在带隙预测任务中，ECN-$S_\Lambda$ 模型达到 0.390 ± 0.02 eV 的 MAE，与基线模型在相同划分下的表现相当或更优。
• 在 Perov-5 数据集上，ECN-$S_\Lambda$ 模型在生成热预测中达到 0.038 ± 0.004 eV/atom 的 MAE，显著优于 CGCNN（0.047 ± 0.000）和 MEGNet（0.059 ± 0.006）。
• ECN-$S_\Lambda$ 模型在非金属分类任务中达到 83.2% ± 1.0 的精确度，优于原始 MEGNet（90.6%），且由于对称性对齐更优，各划分上的性能更一致。
• 结果表明，在更大数据环境下，通过对称性感知设计提升表达能力所带来的收益超过泛化成本，尤其在高度结构化的数据集（如 Perov-5）上收益更显著。
• 本研究证明对称性是一种强大的归纳偏差：对晶体对称群保持等变的模型泛化能力更强，尤其在数据表现出强结构规律性时。