[论文解读] CTGNN: Crystal Transformer Graph Neural Network for Crystal Material Property Prediction

Zijian Du, Luozhijie Jin+5 more|arXiv (Cornell University)|May 19, 2024

Welding Techniques and Residual Stresses被引用 4

一句话总结

该论文提出了一种新型的晶体Transformer图神经网络CTGNN，通过将图神经网络与双Transformer架构相结合，以建模晶体结构中的局部原子相互作用和长程原子间关系。通过引入角度编码并利用注意力机制，CTGNN在钙钛矿材料的生成能和带隙预测任务中实现了最先进性能，其平均绝对误差（MAE）相比CGCNN降低了51.85%。

ABSTRACT

The combination of deep learning algorithm and materials science has made significant progress in predicting novel materials and understanding various behaviours of materials. Here, we introduced a new model called as the Crystal Transformer Graph Neural Network (CTGNN), which combines the advantages of Transformer model and graph neural networks to address the complexity of structure-properties relation of material data. Compared to the state-of-the-art models, CTGNN incorporates the graph network structure for capturing local atomic interactions and the dual-Transformer structures to model intra-crystal and inter-atomic relationships comprehensively. The benchmark carried on by the proposed CTGNN indicates that CTGNN significantly outperforms existing models like CGCNN and MEGNET in the prediction of formation energy and bandgap properties. Our work highlights the potential of CTGNN to enhance the performance of properties prediction and accelerates the discovery of new materials, particularly for perovskite materials.

研究动机与目标

• 解决现有图神经网络和Transformer在捕捉复杂晶体结构-性质关系方面的局限性。
• 通过整合局部原子几何结构与全局结构注意力机制，提升对生成能和带隙等关键材料性质的预测精度。
• 开发一种保留GNN归纳偏置的模型，同时通过双Transformer机制增强长程依赖建模能力。
• 验证角度编码与双注意力机制在基准晶体数据集上提升预测性能的有效性。

提出的方法

• CTGNN结合了图神经网络主干网络与两个独立的Transformer编码器：一个用于晶体内部的原子相互作用建模，另一个用于原子邻域内的原子间关系建模。
• 引入了一种角度编码核，用于编码键角信息，从而在几何表征上超越以往模型仅依赖原子间距离的局限。
• 模型采用多头自注意力机制，其中查询、键和值均源自原子特征，实现在原子邻域内的动态注意力加权。
• 双Transformer设计使得局部化学环境与更广泛的结构关联能够分别建模，从而在多尺度上增强表征学习能力。
• 模型通过端到端训练，以平均绝对误差（MAE）和决定系数（R²）作为优化目标，应用于晶体结构-性质预测任务。
• 通过移除角度编码和原子间Transformer等组件，开展消融研究，以评估各模块对性能的独立贡献。

Figure 1: Our CTGNN framework. Transformer Layer denotes as Transformer encoder for atom features and neighbor features. After the Transformer Layers, CGCNN convolution layers are used. And finally pooling and predicting layers are used to get the prediction. Topological features include angular and

实验结果

研究问题

• RQ1 混合GNN-Transformer架构是否能在预测晶体材料性质（如生成能和带隙）方面超越现有最先进模型？
• RQ2 与仅使用距离编码相比，引入角度编码如何改善晶体结构的几何表征？
• RQ3 晶体内部与原子间Transformer组件对整体模型性能的相对贡献如何？
• RQ4 双Transformer设计是否能提升在多样化晶体体系（尤其是钙钛矿）中的泛化能力？

主要发现

• 在钙钛矿数据集上，CTGNN在生成能预测任务中实现了0.013 eV/atom的平均绝对误差（MAE），相比CGCNN（0.027 eV/atom）降低了51.85%，相比MEGNet（0.032 eV/atom）降低了59.38%。
• 在相同数据集的带隙预测任务中，CTGNN的MAE为0.156 eV，相比CGCNN（0.285 eV）降低了45.26%，相比MEGNet（0.296 eV）降低了47.30%。
• 在钙钛矿数据集上，生成能预测的R²得分达到0.996，优于CGCNN（0.988）和MEGNet（0.982），表明其具有更优的预测保真度。
• 消融研究显示，移除角度编码后MAE上升至0.188 eV（原为0.156 eV），移除原子间Transformer后MAE上升至0.190 eV，证实二者在性能中起关键作用。
• 在JARVIS-DFT数据集上，完整CTGNN模型在带隙预测任务中实现了0.469 eV的MAE，优于CGCNN（0.531 eV）和MEGNet（0.493 eV），分别提升了11.67%和4.87%。
• 当移除双Transformer架构后，MAE显著上升至0.285 eV，凸显双注意力机制在捕捉多尺度关系中的重要性。

Figure 2: Plots of predicted formation energy and bandgap versus target for CGCNN, MEGNet, and CTGNN models, respectively. the upper and right part are the target and prediction data distribution.