[论文解读] Crystalformer: Infinitely Connected Attention for Periodic Structure Encoding

Tatsunori Taniai, Ryo Igarashi+5 more|arXiv (Cornell University)|Mar 18, 2024

Neural Networks and Applications被引用 5

一句话总结

Crystalformer 引入了具有周期时空编码的无限连接注意力，用于晶体结构，在比现有基于 Transformer 的模型使用更少参数的情况下实现了最前沿的性质预测。

ABSTRACT

Predicting physical properties of materials from their crystal structures is a fundamental problem in materials science. In peripheral areas such as the prediction of molecular properties, fully connected attention networks have been shown to be successful. However, unlike these finite atom arrangements, crystal structures are infinitely repeating, periodic arrangements of atoms, whose fully connected attention results in infinitely connected attention. In this work, we show that this infinitely connected attention can lead to a computationally tractable formulation, interpreted as neural potential summation, that performs infinite interatomic potential summations in a deeply learned feature space. We then propose a simple yet effective Transformer-based encoder architecture for crystal structures called Crystalformer. Compared to an existing Transformer-based model, the proposed model requires only 29.4% of the number of parameters, with minimal modifications to the original Transformer architecture. Despite the architectural simplicity, the proposed method outperforms state-of-the-art methods for various property regression tasks on the Materials Project and JARVIS-DFT datasets.

研究动机与目标

• 提出高效的晶体结构编码，以在无需 DFT 的情况下预测材料性质。
• 提出一个基于 Transformer 的编码器，能够处理周期性、无限重复的晶格。
• 引入神经势叠加作为对无限原子间相互作用的可行解释。
• 在标准数据集上展示相对于先前的 Transformer/GNN 方法的效率和准确性提升。

提出的方法

• 将无限连接注意力表述为带有周期性空间编码和边编码的神经势叠加。
• 对原子间势使用高斯距离衰减，并计算 alpha_ij 和 beta_ij，以实现可处理的注意力（伪有限周期注意力）。
• 用由对数和以及格点像的加权和推导的周期性空间编码 alpha_ij 和周期性边编码 beta_ij 表示周期性。
• 采用无归一化的 Transformer 编码器，具有四个自注意力块和原子级嵌入，随后进行全局池化和前馈网络（FFN）进行性质预测。
• 引入值位置编码 psi_ij(n) 以区分具有不同晶胞和晶格向量的晶格。
• 在 Materials Project 和 JARVIS-DFT 数据集上进行训练和评估，并与最先进的方法进行比较。

实验结果

研究问题

• RQ1 全连接的 Transformer 结合周期性感知的注意力能否比以往的 GNN/Transformer 方法更准确地建模晶体结构？
• RQ2 神经势叠加是否在保持效率和准确性的同时，使晶体中的无限原子间相互作用成为可处理的？
• RQ3 包含值位置编码 psi 以及角度/方向信息对预测性能的影响是什么？
• RQ4 在获得有竞争力的 MAE 的同时，Crystalformer 在参数量和速度方面与 PotNet 和 Matformer 相比的扩展性如何？
• RQ5 该框架是否可以通过倒易（傅里叶）空间扩展来容纳长距离相互作用？

主要发现

方法	形成能（eV/atom）	带隙（eV）/（OPT）	体积模量（log(GPa)）	剪切模量（log(GPa)）
Crystalformer	0.0186	0.198	0.0377	0.0689
Crystalformer w/o SWA	0.0198	0.201	0.0399	0.0692
Matformer	0.021	0.211	0.043	0.073
PotNet	0.0188	0.204	0.040	0.065

• Crystalformer 在 Materials Project 和 JARVIS-DFT 数据集的若干任务上相对于多个基线获得更好的 MAE。
• 在 Materials Project 上，Crystalformer（使用 SWA）达到形成能 MAE 0.0186 eV/atom 和带隙 MAE 0.198 eV，体积模量和剪切模量 MAEs 分别为 0.0377 和 0.0689（log(GPa)）。
• 在 JARVIS-DFT 上，Crystalformer 的形成能 MAE 0.0306 eV/atom，总能量 0.0320 eV/atom，带隙 OPT 0.128 eV，MBJ 0.274 eV，E hull 0.0463 eV。
• Crystalformer 仅使用 Matformer 参数的 29.4% 和 PotNet 的 48.6%，推理速度快于 PotNet，训练时间也具竞争力。