[论文解读] Equivariant Graph Neural Networks for Prediction of Tensor Material Properties of Crystals

Alex Heilman, Claire Schlesinger+1 more|arXiv (Cornell University)|Jun 5, 2024

Material Properties and Failure MechanismsMaterials Science被引用 3

一句话总结

该论文提出了一种新颖的SE(3)-等变图神经网络框架，用于从晶体结构直接、分量式地预测张量型材料性质（如介电性、压电性和弹性张量）。通过利用球谐分解和SO(3)等变消息传递，该模型实现了旋转不变性的张量分量预测，在张量预测任务中达到了最先进性能；尽管由于数据稀缺和模型过参数化，跨任务迁移学习带来的增益有限。

ABSTRACT

Modern E(3)-Equivariant networks may be used to predict rotationally equivariant properties, including tensorial quantities. Three such quantities: the dielectric, piezoelectric, and elasticity tensors, are computationally expensive to produce ab initio for crystalline systems; however, with greater availability of such data in large material property databases, we now have a sufficient target space to begin training equivariant models in the prediction of such properties. Here we explicitly develop spherical harmonic decompositions of these tensorial properties using their general symmetries. We then apply three distinct E(3)-equivariant convolutional structures to the prediction of the components of these decompositions, allowing us to predict the aforementioned tensorial quantities in an equivariant manner and compare performance. We further report results testing the transferability of these predictive models between different tensorial target sets.

研究动机与目标

• 实现从晶体结构直接、分量式地预测坐标依赖的张量性质（如介电性、压电性、弹性）
• 通过引入SO(3)等变性，解决现有模型仅能预测标量不变性质的局限
• 探索从标量预训练任务迁移至低数据量张量预测任务，以提升泛化能力
• 研究在多个张量任务上串联预训练是否能提升下游张量预测性能
• 评估SO(3)等变模型在捕捉晶体对称性约束以实现张量预测方面的表达能力与实际可行性

提出的方法

• 模型采用SE(3)-等变图神经网络，其中节点特征以旋转阶数ℓ和方位阶数m索引的球谐函数表示
• 通过Clebsch-Gordan系数定义SO(3)等变卷积，实现不同ℓ和m通道间特征与滤波器的组合，同时保持旋转对称性
• 通过球谐分解将目标张量分解至谐波子空间，实现模型输出的直接读出
• 框架集成在SO(3)变换下保持等变性的自交互层与非线性单元，以维持各层间的对称性
• 通过在标量性质（形成能、带隙）上预训练以及在多个张量任务间串联预训练，探索迁移学习
• 使用各张量分量的平均绝对误差（MAE）评估模型性能，并对数据稀疏性和预训练顺序进行消融实验

实验结果

研究问题

• RQ1 SO(3)-等变GNN能否有效从晶体结构中预测介电性、压电性及弹性张量等分量式张量性质？
• RQ2 在标量目标（如形成能、带隙）上预训练是否能提升低数据量张量预测任务的下游性能？
• RQ3 在多个张量任务（如弹性→介电→压电）上串联预训练是否优于单任务预训练，带来更好的泛化能力？
• RQ4 尽管进行了预训练，为何模型在压电张量上的性能未见提升？这是否由数据稀缺或模型过参数化导致？
• RQ5 SO(3)框架的过参数化——生成大量无用的球谐函数组合——在晶体张量预测中在多大程度上造成实际应用障碍？

主要发现

• SE(3)-等变模型在张量分量预测任务中达到最先进性能，使用SETransformer时弹性张量的MAE为7.65（log10 GPa）
• 在标量目标（形成能、带隙）上预训练对张量预测精度提升微乎其微，MAE值基本保持不变（如压电张量的MAE在各模型中均约为0.170）
• 在多个张量任务间串联预训练未能提升压电张量的性能，所有模型的MAE值稳定在0.170–0.171之间
• 当预训练包含弹性张量数据时，介电张量预测性能下降，MAE从4.82升至4.67（SEGNN），表明出现负迁移现象
• 研究表明，SO(3)框架可能对晶体对称性约束而言表达能力过强，生成了大量无物理意义的冗余球谐函数组合
• 作者得出结论：若将卷积限制在晶体点群对称性而非完整SO(3)群上，可预先消除零值张量分量，从而提升效率与准确性