[논문 리뷰] CTGNN: Crystal Transformer Graph Neural Network for Crystal Material Property Prediction

Zijian Du, Luozhijie Jin외 5명|arXiv (Cornell University)|2024. 05. 19.

Welding Techniques and Residual Stresses인용 수 4

한 줄 요약

이 논문은 결정 구조 내 국소 원자 상호작용과 장거리 원자 간 관계를 모두 모델링하기 위해 그래프 신경망과 이중 트랜스포머 아키텍처를 통합한 새로운 Crystal Transformer Graph Neural Network인 CTGNN을 제안한다. 각도 인코딩을 통합하고 어텐션 메커니즘을 활용함으로써, 퍼보스카이트 재료에서 형성 에너지 및 밴드 갭 예측에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, CGCNN 대비 평균 절대 오차(MAE)가 51.85% 낮아졌다.

ABSTRACT

The combination of deep learning algorithm and materials science has made significant progress in predicting novel materials and understanding various behaviours of materials. Here, we introduced a new model called as the Crystal Transformer Graph Neural Network (CTGNN), which combines the advantages of Transformer model and graph neural networks to address the complexity of structure-properties relation of material data. Compared to the state-of-the-art models, CTGNN incorporates the graph network structure for capturing local atomic interactions and the dual-Transformer structures to model intra-crystal and inter-atomic relationships comprehensively. The benchmark carried on by the proposed CTGNN indicates that CTGNN significantly outperforms existing models like CGCNN and MEGNET in the prediction of formation energy and bandgap properties. Our work highlights the potential of CTGNN to enhance the performance of properties prediction and accelerates the discovery of new materials, particularly for perovskite materials.

연구 동기 및 목표

• 기존 그래프 신경망과 트랜스포머가 복잡한 결정 구조-성질 관계를 포괄하는 데에 한계를 보이는 문제를 해결하기 위해.
• 국소 원자 기하학적 구조와 전반적인 구조적 주목적 어텐션을 통합하여 형성 에너지 및 밴드 갭과 같은 핵심 재료 성질의 예측 정확도를 향상시키기 위해.
• GNN의 인덕티브 바이어스를 유지하면서도 이중 트랜스포머 기반 메커니즘을 통해 장거리 의존성 모델링 능력을 향상시키기 위해.
• 각도 인코딩과 이중 어텐션 메커니즘의 효과를 기준 결정 구조 데이터셋에서의 예측 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• CTGNN는 그래프 신경망 기반 아키텍처에 더불어, 결정 내 원자 상호작용을 위한 하나와 원자 이웃 영역 내 원자 간 관계를 위한 다른 하나의 독립적인 트랜스포머 인코더를 통합한다.
• 결합 각도를 인코딩하기 위해 새로운 각도 인코딩 커널을 도입하여, 이전 모델에서 사용된 단순한 원자 간 거리 외에 기하학적 표현을 풍부하게 한다.
• 다중 헤드 자기어텐션 메커니즘을 활용하며, 쿼리, 키, 밸류는 원자 특징에서 유도되어 원자 이웃 영역 내에서 동적 어텐션 가중치를 부여한다.
• 이중 트랜스포머 설계는 국소 화학적 환경과 더 넓은 구조적 상관관계를 별도로 모델링함으로써, 다중 척도에서 표현 학습 능력을 향상시킨다.
• 모델은 결정 구조-성질 예측 작업에서 평균 절대 오차(MAE)와 결정 계수(R²)를 최적화 목표로 하여 엔드 투 엔드로 훈련된다.
• 각 구성 요소를 제거함으로써 성능에 미치는 기여도를 평가하기 위해, 각도 인코딩 및 원자 간 트랜스포머 제거와 같은 추상화 연구를 수행한다.

Figure 1: Our CTGNN framework. Transformer Layer denotes as Transformer encoder for atom features and neighbor features. After the Transformer Layers, CGCNN convolution layers are used. And finally pooling and predicting layers are used to get the prediction. Topological features include angular and

실험 결과

연구 질문

• RQ1 하이브리드 GNN-Transformer 아키텍처가 기존 최고 성능 모델보다 퍼보스카이트 재료의 형성 에너지 및 밴드 갭 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ2 각도 인코딩의 포함 여부가 거리 기반 인코딩 대비 결정 구조의 기하학적 표현을 얼마나 향상시키는가?
• RQ3 내결정성 및 원자 간 트랜스포머 구성 요소가 전체 모델 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ4 이중 트랜스포머 설계가 특히 퍼보스카이트를 포함한 다양한 결정계에서 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• 퍼보스카이트 데이터셋에서 CTGNN는 형성 에너지 예측에 대해 평균 절대 오차(MAE) 0.013 eV/atom을 달성하였으며, 이는 CGCNN(0.027 eV/atom) 대비 51.85% 향상되고 MEGNet(0.032 eV/atom) 대비 59.38% 향상된 결과이다.
• 동일한 데이터셋에서 밴드 갭 예측에 대해 CTGNN는 MAE 0.156 eV를 기록하였으며, 이는 CGCNN(0.285 eV) 대비 45.26% 낮고 MEGNet(0.296 eV) 대비 47.30% 낮은 성능이다.
• 퍼보스카이트 데이터셋에서 형성 에너지 예측의 R² 스코어는 0.996에 도달하였으며, 이는 CGCNN(0.988)과 MEGNet(0.982)를 모두 능가하는 것으로, 예측 정밀도가 뛰어나다는 것을 시사한다.
• 추상화 연구 결과, 각도 인코딩을 제거할 경우 MAE가 0.188 eV(기존 0.156 eV)로 상승하였고, 원자 간 트랜스포머를 제거할 경우 0.190 eV로 상승하여, 이들의 성능 향상에 핵심적인 역할을 한다는 점을 확인하였다.
• JARVIS-DFT 데이터셋에서 밴드 갭 예측에 대해 전체 CTGNN 모델은 MAE 0.469 eV를 기록하였으며, 이는 CGCNN(0.531 eV) 대비 11.67% 향상되고 MEGNet(0.493 eV) 대비 4.87% 향상된 결과이다.
• 이중 트랜스포머 아키텍처를 제거할 경우 성능 저하가 심각하여 MAE가 0.285 eV로 상승하였으며, 이는 다중 척도 관계를 포착하는 데에 이중 어텐션 메커니즘이 필수적임을 강조한다.

Figure 2: Plots of predicted formation energy and bandgap versus target for CGCNN, MEGNet, and CTGNN models, respectively. the upper and right part are the target and prediction data distribution.