[論文レビュー] Complete and Efficient Graph Transformers for Crystal Material Property Prediction

Keqiang Yan, Cong Fu+3 more|arXiv (Cornell University)|Mar 18, 2024

Machine Learning in Materials Science被引用数 6

ひとこと要約

本論文は SE(3) invariant および SO(3) equivariant な結晶グラフ表現と、iComFormer および eComFormer の2つのグラフトランスフォーマー系を提案し、3つの結晶ベンチマークで最新の結果を達成した。

ABSTRACT

Crystal structures are characterized by atomic bases within a primitive unit cell that repeats along a regular lattice throughout 3D space. The periodic and infinite nature of crystals poses unique challenges for geometric graph representation learning. Specifically, constructing graphs that effectively capture the complete geometric information of crystals and handle chiral crystals remains an unsolved and challenging problem. In this paper, we introduce a novel approach that utilizes the periodic patterns of unit cells to establish the lattice-based representation for each atom, enabling efficient and expressive graph representations of crystals. Furthermore, we propose ComFormer, a SE(3) transformer designed specifically for crystalline materials. ComFormer includes two variants; namely, iComFormer that employs invariant geometric descriptors of Euclidean distances and angles, and eComFormer that utilizes equivariant vector representations. Experimental results demonstrate the state-of-the-art predictive accuracy of ComFormer variants on various tasks across three widely-used crystal benchmarks. Our code is publicly available as part of the AIRS library (https://github.com/divelab/AIRS).

研究の動機と目的

• 周期的パターンを捉え、手性結晶を識別できる幾何学的に完全な結晶表現の課題に対処する。
• 結晶のパッシブ対称性を尊重しつつ、完全な幾何情報を符号化する格子ベースの結晶グラフを開発する。
• 不変表現と等変表現を活用した2つのスケーラブルなグラフトランスフォーマー系（iComFormer および eComFormer）を提案する。
• 標準的な3つの結晶ベンチマーク（JARVIS、Materials Project、MatBench）で経験的に検証し、最先端の結果を達成する。

提案手法

• 結晶のパッシブ対称性（単位胞 SE(3) 不変性、単位胞 SO(3) 等変性、周期的不変性）を定義し、結晶の幾何学的完全性を形式化する。
• 格子全体に原子を複製して SE(3) 不変の結晶グラフを構築し、格子ベクトルと角度をエッジ特徴として符号化する；格子構築において周期的不変性を保証する。
• 球面調和関数ベースの特徴を用いたエッジベクトルと、回転等変性を保持するテンソル積ベースのメッセージ伝播を用いて、SO(3) 等変な結晶グラフを構築する。
• 効率的な計算のため、SE(3) 不変グラフと O(nk) トランスフォーマーアーキテクチャ（ノードごとおよびエッジごとの更新）を備えた iComFormer を実装する。
• 回転等変性を保つように、ベクトルエッジ特徴とノード特徴を統合するテンソル積層を用いた SO(3) 等変グラフを用いた eComFormer を実装する。
• 単位胞あたりの原子数を n、平均隣接数を k とする複雑さ O(nk) で、完全性とスケーラビリティを実証する。

実験結果

リサーチクエスチョン

• RQ1 SE(3) invariant および SO(3) equivariant な結晶グラフは結晶材料の幾何学的完全性を実現できるか？
• RQ2 iComFormer および eComFormer は大規模・中規模・小規模の結晶ベンチマークで最先端の予測精度を達成するか？
• RQ3 格子ベースの周期性と手性感知を組み込むことは材料特性予測にどのような影響を与えるか？
• RQ4 提案モデルの計算効率は既存の結晶 GNN と比較してどうか？
• RQ5 提案表現は手性結晶を区別し、単位胞の周期変換下で堅牢であるか？

主な発見

手法	形成エネルギー (meV/原子)	Bandgap(OPT) (eV)	E_total (meV)	Bandgap(MBJ) (eV)	E_hull (meV)
CGCNN	63	0.20	78	0.41	170
SchNet	45	0.19	47	0.43	140
MEGNET	47	0.145	58	0.34	84
GATGNN	47	0.170	56	0.51	120
ALIGNN	33.1	0.142	37	0.31	76
Matformer	32.5	0.137	35	0.30	64
PotNet	29.4	0.127	32	0.27	55
eComFormer	28.4	0.124	32	0.28	44
iComFormer	27.2	0.122	28.8	0.26	47

• iComFormer は JARVIS で PotNet に対し formation energy で 8%、E_total で 10%、E_hull で 15% の改善を達成。
• eComFormer は E_hull で 20% の改善を達成し、他の JARVIS タスクではセカンドベスト。
• Materials Project では iComFormer が 4 件中 3 件で最高性能を示し、eComFormer は formation energy で最高。
• MatBench では iComFormer が e_form-132752 および jdft2d-636 タスクで強力なベースラインと同等または上回る性能を示し、RMSE も競争力がある。
• ComFormer 系は large-scale e_form-132752、small-to-medium scale ベンチマークで最先端の結果を達成し、限られた学習データでも堅牢な性能を示す（例：Matformer/MP の比較）。
• これらの手法は、異なる単位胞サイズや周期表現に拡張しても幾何学的完全性を維持する。