[論文レビュー] Periodic Graph Transformers for Crystal Material Property Prediction

Keqiang Yan, Yi Liu+2 more|arXiv (Cornell University)|Sep 23, 2022

Machine Learning in Materials Science被引用数 43

ひとこと要約

Matformer は周期グラフトランスフォーマーで、周期的不変性と明示的な周期パターンのエンコーディングを実現し、結晶特性を予測します。Materials Project および Jarvis のベンチマークでベースラインを上回ります。従来手法よりも効率性の向上も示します。

ABSTRACT

We consider representation learning on periodic graphs encoding crystal materials. Different from regular graphs, periodic graphs consist of a minimum unit cell repeating itself on a regular lattice in 3D space. How to effectively encode these periodic structures poses unique challenges not present in regular graph representation learning. In addition to being E(3) invariant, periodic graph representations need to be periodic invariant. That is, the learned representations should be invariant to shifts of cell boundaries as they are artificially imposed. Furthermore, the periodic repeating patterns need to be captured explicitly as lattices of different sizes and orientations may correspond to different materials. In this work, we propose a transformer architecture, known as Matformer, for periodic graph representation learning. Our Matformer is designed to be invariant to periodicity and can capture repeating patterns explicitly. In particular, Matformer encodes periodic patterns by efficient use of geometric distances between the same atoms in neighboring cells. Experimental results on multiple common benchmark datasets show that our Matformer outperforms baseline methods consistently. In addition, our results demonstrate the importance of periodic invariance and explicit repeating pattern encoding for crystal representation learning.

研究の動機と目的

• 結晶構造の周期性を活用して、正確な結晶材料特性予測を動機づける。
• 単位胞の周期シフトに不変で、かつスケーラブルな単位胞を扱えるグラフトランスフォーマーを開発する。
• 性質に対する大きさと方位の影響を捉えるため、周期格子パターンを明示的にエンコードする。

提案手法

• 二つの周期不変グラフ構築を用いた Matformer の導入: マルチエッジ結晶グラフと完全結合結晶グラフ。
• 格子ベクトルの長さとその対の和を表す六つの自己結合エッジを追加して周期パターンをエンコードする。
• マルチエッジ結晶グラフに適した、エッジ単位のアテンションを用いたトランスフォーマーベースのメッセージパッシング手法を使用する。
• Materials Project および Jarvis データセットを用いた学習設定とベースラインで性能を評価する。
• GNN およびグラフトランスフォーマーのベースラインと比較し、周期的不変性とパターンエンコーディングのアブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 性質予測のための結晶グラフ表現において、周期的不変性をどのように保証できるか？
• RQ2 結晶特性の予測性能に対する周期パターンの明示的エンコードの影響はどのようなものか？
• RQ3 周期不変グラフ構築とパターンエンコーディングは、既存手法よりも精度と効率を改善するか？

主な発見

手法	形成エネルギー eV/原子	バンドギャップ eV	体積弾性率 log(GPa)	せん断モジュラス log(GPa)
CGCNN	0.031	0.292	0.047	0.077
SchNet	0.033	0.345	0.066	0.099
MEGNET	0.030	0.307	0.060	0.099
GATGNN	0.033	0.280	0.045	0.075
ALIGNN	0.022	0.218	0.051	0.078
Matformer	0.021	0.211	0.043	0.073
TABLE_PLACEHOLDER	TABLE_PLACEHOLDER	TABLE_PLACEHOLDER	TABLE_PLACEHOLDER

• Matformer は Materials Project データセットにおいて formation energy、band gap、bulk moduli、shear moduli のすべてで最良の test MAE を達成。
• Jarvis のタスクで、formation energy、bandgap (OPT)、total energy、Ehull、bandgap (MBJ) においてベースラインを上回る。
• Matformer は TRAINING および推論時間で ALIGNN より効率的で、モデルのフットプリントも小さい。
• A EwT 分析は、Materials Project のようなより大規模データセットで特に、閾値内のエネルギー予測で ALIGNN より高い精度を示す。
• アブレーション研究は、結晶表現における周期的不変性と明示的周期パターンエンコーディングの重要性を強調する。）