[論文レビュー] Crystalformer: Infinitely Connected Attention for Periodic Structure Encoding

Tatsunori Taniai, Ryo Igarashi+5 more|arXiv (Cornell University)|Mar 18, 2024

Neural Networks and Applications被引用数 5

ひとこと要約

Crystalformer は、結晶構造に対して周期的な空間エンコードを用いた無限に接続されたアテンションを導入し、従来の Transformer ベースモデルより少ないパラメータで最先端の性質予測を達成します。

ABSTRACT

Predicting physical properties of materials from their crystal structures is a fundamental problem in materials science. In peripheral areas such as the prediction of molecular properties, fully connected attention networks have been shown to be successful. However, unlike these finite atom arrangements, crystal structures are infinitely repeating, periodic arrangements of atoms, whose fully connected attention results in infinitely connected attention. In this work, we show that this infinitely connected attention can lead to a computationally tractable formulation, interpreted as neural potential summation, that performs infinite interatomic potential summations in a deeply learned feature space. We then propose a simple yet effective Transformer-based encoder architecture for crystal structures called Crystalformer. Compared to an existing Transformer-based model, the proposed model requires only 29.4% of the number of parameters, with minimal modifications to the original Transformer architecture. Despite the architectural simplicity, the proposed method outperforms state-of-the-art methods for various property regression tasks on the Materials Project and JARVIS-DFT datasets.

研究の動機と目的

• DFTなしで材料特性を予測するための効率的な結晶構造エンコーディングの動機付け。
• 周期的で無限に繰り返される結晶格子を扱う Transformer ベースのエンコーダを提案する。
• 無限の原子間相互作用を扱いやすい解釈としてニューラルポテンシャル和を導入する。
• 標準データセット上で従来の Transformer/GNN アプローチより効率と精度の改善を示す。

提案手法

• 周期的な空間エンコードとエンコードを用いたニューラルポテンシャル和として、無限に接続されたアテンションを定式化する。
• 原子間ポテンシャルにはガウス距離減衰を用い、アルファ_ijとベータ_ijを計算して扱いやすいアテンション（疑似有限周期アテンション）を可能にする。
• 周期性は、格子像上の対数和と加重和から導かれる alpha_ij および beta_ij の周期空間エンコードで表現する。
• 正規化なしの Transformer エンコーダを採用し、4つの自己注意ブロックと原子ごと embeddings、続いてグローバルプーリングと FFN による性質予測。
• 異なる単位胞と格子ベクトルを持つ格子を区別するために、値の位置エンコード psi_ij(n) を取り入れる。
• Materials Project および JARVIS-DFT データセットで訓練・評価を行い、最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 周期性対応アテンションを備えた完全連結の Transformer は、従来の GNN/Transformer アプローチより結晶構造をより正確にモデルできるか？
• RQ2 ニューラルポテンシャル和は、効率と精度を維持しつつ結晶内の無限の原子間相互作用を扱えるか？
• RQ3 値の位置エンコード psi と角度/方向情報の組み込みが予測性能に与える影響はどの程度か？
• RQ4 競合的な MAE を達成しつつ、Crystalformer は PotNet および Matformer と比較してパラメータ数と速度のスケーリングがどうなるか？
• RQ5 Reciprocal（フーリエ）空間拡張による長距離相互作用をこのフレームワークは取り込めるか？

主な発見

Method	Formation energy (eV/atom)	Bandgap (eV) / (OPT)	Bulk modulus (log(GPa))	Shear modulus (log(GPa))
Crystalformer	0.0186	0.198	0.0377	0.0689
Crystalformer w/o SWA	0.0198	0.201	0.0399	0.0692
Matformer	0.021	0.211	0.043	0.073
PotNet	0.0188	0.204	0.040	0.065

• Crystalformer は Materials Project と JARVIS-DFT データセットで、複数のベースラインと比較していくつかのタスクで優れた MAE を達成する。
• Materials Project では、Crystalformer（SWA を用く）Formation energy MAE 0.0186 eV/atom、Bandgap MAE 0.198 eV、Bulk modulus MAE 0.0377、Shear modulus MAE 0.0689 (log(GPa))。
• JARVIS-DFT では、Crystalformer は Formation energy MAE 0.0306 eV/atom、Total energy 0.0320 eV/atom、Bandgap OPT 0.128 eV、MBJ 0.274 eV、E hull 0.0463 eV へ達する。
• Crystalformer は Matformer のパラメータのわずか 29.4% 、PotNet の 48.6% のパラメータを使用し、PotNet より推論が速く、トレーニング時間も競争力がある。