[論文レビュー] CTGNN: Crystal Transformer Graph Neural Network for Crystal Material Property Prediction

Zijian Du, Luozhijie Jin+5 more|arXiv (Cornell University)|May 19, 2024

Welding Techniques and Residual Stresses被引用数 4

ひとこと要約

本稿では、結晶構造内の局所的原子相互作用と長距離の原子間関係を同時にモデル化するため、グラフニューラルネットワークと二重Transformerアーキテクチャを統合した新規な結晶変換器グラフニューラルネットワーク、CTGNNを提案する。角度符号化を組み込み、アテンションメカニズムを活用することで、ペロブスカイト材料において形成エネルギーとバンドギャップを予測する際、CGCNNに比べて51.85%低いMAEを達成し、最先端の性能を実現した。

ABSTRACT

The combination of deep learning algorithm and materials science has made significant progress in predicting novel materials and understanding various behaviours of materials. Here, we introduced a new model called as the Crystal Transformer Graph Neural Network (CTGNN), which combines the advantages of Transformer model and graph neural networks to address the complexity of structure-properties relation of material data. Compared to the state-of-the-art models, CTGNN incorporates the graph network structure for capturing local atomic interactions and the dual-Transformer structures to model intra-crystal and inter-atomic relationships comprehensively. The benchmark carried on by the proposed CTGNN indicates that CTGNN significantly outperforms existing models like CGCNN and MEGNET in the prediction of formation energy and bandgap properties. Our work highlights the potential of CTGNN to enhance the performance of properties prediction and accelerates the discovery of new materials, particularly for perovskite materials.

研究の動機と目的

• 既存のグラフニューラルネットワークとTransformerの限界を克服し、複雑な結晶構造-物性関係を捉えること。
• 局所的原子幾何学的構造とグローバル構造的アテンションを統合することで、形成エネルギーとバンドギャップといった重要な材料物性の予測精度を向上させること。
• GNNの誘導的バイアスを保持しつつ、二重Transformer機構により長距離依存関係のモデリングを強化するモデルの開発。
• 角度符号化と二重アテンションメカニズムが、ベンチマーク結晶データセットにおける予測性能向上に果たす役割の有効性を検証すること。

提案手法

• CTGNNは、グラフニューラルネットワークのバックボーンに加え、結晶内原子相互作用を扱うための1つのトランスフォーマーエンコーダーと、原子近傍内の原子間関係を扱う別のトランスフォーマーエンコーダーを組み合わせる。
• 結合角を符号化するための角度符号化カーネルを導入し、従来の単一の原子間距離に依存するモデルとは異なり、幾何的表現を豊かにしている。
• マルチヘッド自己アテンションメカニズムを採用し、クエリ、キー、バリューを原子特徴から導出することで、原子近傍における動的アテンション重み付けを可能にしている。
• 二重トランスフォーマー設計により、局所的化学的環境と広範な構造的相関を別々にモデリングでき、複数スケールでの表現学習を強化している。
• 結晶構造-物性予測タスクにおいて、平均絶対誤差（MAE）と決定係数（R²）を最適化目的関数として、エンドツーエンドで学習を実施している。
• アブレーションスタディでは、角度符号化や原子間トランスフォーマーの除去によって、各要素が性能に与える寄与度を個別に評価している。

Figure 1: Our CTGNN framework. Transformer Layer denotes as Transformer encoder for atom features and neighbor features. After the Transformer Layers, CGCNN convolution layers are used. And finally pooling and predicting layers are used to get the prediction. Topological features include angular and

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドGNN-Transformerアーキテクチャは、形成エネルギーとバンドギャップといった結晶物性予測において、既存の最先端モデルを上回ることができるか？
• RQ2 角度符号化を導入することで、距離のみに依存する符号化に比べ、結晶構造の幾何的表現はどのように向上するか？
• RQ3 結晶内トランスフォーマーと原子間トランスフォーマーの各コンponentが、全体のモデル性能に果たす相対的寄与度は何か？
• RQ4 二重トランスフォーマー設計により、特にペロブスカイトにおいて、多様な結晶系への一般化性能が向上するか？

主な発見

• ペロブスカイトデータセットにおいて、CTGNNは形成エネルギー予測で平均絶対誤差（MAE）0.013 eV/atomを達成し、CGCNN（0.027 eV/atom）に比べ51.85%の改善、MEGNet（0.032 eV/atom）に比べ59.38%の改善を示した。
• 同じデータセットにおけるバンドギャップ予測では、CTGNNはMAE 0.156 eVを達成し、CGCNN（0.285 eV）に比べ45.26%低く、MEGNet（0.296 eV）に比べ47.30%低かった。
• ペロブスカイトデータセットにおける形成エネルギー予測のR²スコアは0.996に達し、CGCNN（0.988）とMEGNet（0.982）を上回り、優れた予測忠実度を示した。
• アブレーションスタディの結果、角度符号化を除去するとMAEが0.188 eV（0.156 eVから）に上昇し、原子間トランスフォーマーを除去すると0.190 eVに上昇した。これにより、両者の重要性が確認された。
• JARVIS-DFTデータセットにおけるバンドギャップ予測でも、CTGNNのMAEは0.469 eVを達成し、CGCNN（0.531 eV）とMEGNet（0.493 eV）を上回り、それぞれ11.67%および4.87%の改善を示した。
• 二重トランスフォーマー構造を除去した場合、MAEは0.285 eVまで上昇し、顕著な性能低下を示した。これにより、二重アテンションメカニズムが多スケール関係を捉える上で極めて重要であることが示された。

Figure 2: Plots of predicted formation energy and bandgap versus target for CGCNN, MEGNet, and CTGNN models, respectively. the upper and right part are the target and prediction data distribution.