[논문 리뷰] Complete and Efficient Graph Transformers for Crystal Material Property Prediction

Keqiang Yan, Cong Fu외 3명|arXiv (Cornell University)|2024. 03. 18.

Machine Learning in Materials Science인용 수 6

한 줄 요약

본 논문은 SE(3) 불변 및 SO(3) 등가 크리스탈 그래프 표현과 두 가지 그래프 트랜스포머 변형인 iComFormer와 eComFormer를 제시하여 세 가지 크리스탈 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Crystal structures are characterized by atomic bases within a primitive unit cell that repeats along a regular lattice throughout 3D space. The periodic and infinite nature of crystals poses unique challenges for geometric graph representation learning. Specifically, constructing graphs that effectively capture the complete geometric information of crystals and handle chiral crystals remains an unsolved and challenging problem. In this paper, we introduce a novel approach that utilizes the periodic patterns of unit cells to establish the lattice-based representation for each atom, enabling efficient and expressive graph representations of crystals. Furthermore, we propose ComFormer, a SE(3) transformer designed specifically for crystalline materials. ComFormer includes two variants; namely, iComFormer that employs invariant geometric descriptors of Euclidean distances and angles, and eComFormer that utilizes equivariant vector representations. Experimental results demonstrate the state-of-the-art predictive accuracy of ComFormer variants on various tasks across three widely-used crystal benchmarks. Our code is publicly available as part of the AIRS library (https://github.com/divelab/AIRS).

연구 동기 및 목표

• 주기적 패턴을 포착하고 키랄 결정들을 구별하는 기하학적으로 완전한 결정 표현의 도전을 해결한다.
• 결정 비활성 대칭을 존중하면서 완전한 기하 정보를 인코딩하는 격자 기반 결정 그래프를 개발한다.
• 불변 및 등가 표현을 이용한 두 가지 확장 가능한 그래프 트랜스포머 변형(iComFormer 및 eComFormer)을 제안한다.
• 세 가지 표준 결정 벤치마크(JARVIS, Materials Project, MatBench)에서 실증적으로 검증하여 최첨단 결과를 달성한다.

제안 방법

• 결정의 비활성 대칭(단위 셀 SE(3) 불변성, 단위 셀 SO(3) 등가성, 주기적 불변성)을 정의하고 결정의 기하학적 완전성을 형식화한다.
• 격자를 가로질러 원자를 중복하고 격자 벡터와 각도를 모서리 특징으로 인코딩하여 SE(3) 불변 크리스탈 그래프를 구성하되, 격자 구성에서 주기적 불변성을 보장한다.
• 구면조화 기반 특징과 텐서 곱 기반 메시지 전달을 사용한 간선 벡터로 SO(3) 등가 크리스탈 그래프를 구성하여 회전 등가성을 보존한다.
• SE(3) 불변 그래프를 갖춘 iComFormer를 구현하고 효율적 계산을 위해 O(nk) 트랜스포머 아키텍처(노드 단위 및 간선 단위 업데이트)를 사용한다.
• 회전 등가적 방식으로 벡터 간선 특징과 노드 특징을 융합하기 위해 텐서 곱 계층을 사용하는 SO(3) 등가 그래프를 갖춘 eComFormer를 구현한다.
• 단위 셀의 원자 수 n과 이웃의 평균 수 k일 때 복잡도 O(nk)로 기하학적 완전성과 확장성을 입증한다.

실험 결과

연구 질문

• RQ1 SE(3) 불변 및 SO(3) 등가 크리스탈 그래프가 결정 물질에 대한 기하학적 완전성을 달성할 수 있는가?
• RQ2 iComFormer와 eComFormer가 대규모, 중규모, 소규모 크리스탈 벤치마크에서 최첨단 예측 정확도를 달성하는가?
• RQ3 격자 기반 주기성과 키랄 민감도를 도입하는 것이 물질 특성 예측에 어떤 영향을 미치는가?
• RQ4 제안된 모델들의 계산 효율성은 기존의 크리스탈 GNN들과 비교해 어떤가?
• RQ5 제안된 표현들이 키랄 결정들을 구별하고 단위 셀 주기 변환에서도 견고하게 유지되는가?

주요 결과

• iComFormer는 JARVIS에서 PotNet 대비 형성 에너지 8%, E_total 10%, E_hull 15% 향상을 달성했다.
• eComFormer는 E_hull에서 20% 향상을 달성하고 다른 JARVIS 과제들에서 2위이다.
• Materials Project에서 iComFormer는 네 개 과제 중 세 개에서 최고 성능을 제공; eComFormer는 형성 에너지에서 최고를 기록했다.
• MatBench에서 iComFormer는 e_form-132752 및 jdft2d-636 과제에서 강력한 기준선과 동등하거나 능가하며 RMSE도 경쟁력이 있다.
• ComFormer 변형은 대규모 e_form-132752, 소-중간 규모 벤치마크에서 최첨단 결과를 달성하고 제한된 학습 데이터에서도 견고한 성능을 보인다(예: Matformer/MP 비교).
• 이 방법들은 서로 다른 단위 셀 크기와 주기적 표현으로 확장되더라도 기하학적 완전성을 유지한다.