[논문 리뷰] Periodic Graph Transformers for Crystal Material Property Prediction

Keqiang Yan, Yi Liu외 2명|arXiv (Cornell University)|2022. 09. 23.

Machine Learning in Materials Science인용 수 43

한 줄 요약

Matformer는 주기적인 그래프 변환기로, 주기 불변성과 명시적 주기 패턴 인코딩을 통해 결정 구조 속성을 예측하고, Materials Project와 Jarvis 벤치마크에서 기준모형을 능가합니다. 또한 기존 방법 대비 효율성 향상을 보입니다.

ABSTRACT

We consider representation learning on periodic graphs encoding crystal materials. Different from regular graphs, periodic graphs consist of a minimum unit cell repeating itself on a regular lattice in 3D space. How to effectively encode these periodic structures poses unique challenges not present in regular graph representation learning. In addition to being E(3) invariant, periodic graph representations need to be periodic invariant. That is, the learned representations should be invariant to shifts of cell boundaries as they are artificially imposed. Furthermore, the periodic repeating patterns need to be captured explicitly as lattices of different sizes and orientations may correspond to different materials. In this work, we propose a transformer architecture, known as Matformer, for periodic graph representation learning. Our Matformer is designed to be invariant to periodicity and can capture repeating patterns explicitly. In particular, Matformer encodes periodic patterns by efficient use of geometric distances between the same atoms in neighboring cells. Experimental results on multiple common benchmark datasets show that our Matformer outperforms baseline methods consistently. In addition, our results demonstrate the importance of periodic invariance and explicit repeating pattern encoding for crystal representation learning.

연구 동기 및 목표

• 결정 구조의 주기적 특성을 활용하여 정확한 결정 재료 속성 예측을 동기 부여한다.
• 단위 셀의 주기적 이동에 불변하고 확장 가능한 단위 셀에 대해 그래프 트랜스포머를 개발한다.
• 속성에 대한 크기 및 방향 효과를 포착하기 위해 주기적 격자 패턴을 명시적으로 인코딩한다.

제안 방법

• Matformer를 두 가지 주기 불변 그래프 구성으로 도입한다: 다중 간선 크리스탈 그래프와 완전 연결 크리스탈 그래프.
• 격자 벡터 길이와 그 쌍합을 나타내는 여섯 개의 자기 연결 에지를 추가하여 주기 패턴을 인코딩한다.
• 다중 간선 크리스탈 그래프에 맞춘 변환기 기반 메시지 전달 체계에서 에지별 어텐션을 사용한다.
• Materials Project와 Jarvis 데이터셋에서 성능을 평가하기 위한 학습 설정 및 베이스라인을 적용한다.
• GNN 및 그래프 트랜스포머 베이스라인과 비교하고 주기 불변성과 패턴 인코딩에 대한 제거 실험(ablation)을 수행한다.

실험 결과

연구 질문

• RQ1 속성 예측을 위한 결정 그래프 표현에서 주기 불변성을 어떻게 보장할 수 있는가?
• RQ2 주기 패턴을 명시적으로 인코딩하는 것이 결정 속성의 예측 성능에 어떤 영향을 미치는가?
• RQ3 주기 불변 그래프 구성과 패턴 인코딩이 기존 방법보다 정확도와 효율성을 향상시키는가?

주요 결과

• Matformer는 Materials Project 데이터셋에서 formation energy, band gap, bulk moduli, shear moduli에 대해 최적의 테스트 MAE를 달성한다.
• Jarvis 태스크에서 Matformer는 formation energy, bandgap(OPT), total energy, Ehull, 및 bandgap(MBJ)에서 베이스라인을 능가한다.
• Matformer는 학습 및 추론 시간 면에서 ALIGNN보다 효율적이며 더 작은 모델 풋프린트를 사용한다.
• EwT 분석은 Matformer가 ALIGNN보다 임계값 내에서 더 높은 에너지 예측을 제공하며, 특히 Materials Project 같은 대규모 데이터셋에서 그렇다.
• 주기 불변성과 명시적 주기 패턴 인코딩이 결정 표현에 중요하다고 강조하는 ablation 연구.