[논문 리뷰] Equivariant Message Passing Neural Network for Crystal Material Discovery

Astrid Klipfel, Olivier Peltre외 4명|arXiv (Cornell University)|2023. 02. 01.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 유클리드 군 $Euc(3)$ 및 정수 특수선형군 $ ext{SL}_3(/mathbb{Z})$ 에 대한 불변성 조건을 부여하여 결정 격자 변형을 모델링하는 새로운 등변 메시지 전파 신경망인 EMPNN을 제안한다. 이는 비지도 결정 생성 및 리aksation을 가능하게 하며, 기하학적 등변성과 벡터장 기반 메시지 전파를 활용하여, 불변 기준 모델 및 DFT보다도 핵심 지표에서 우수한 성능을 달성한다. 격자 복원 및 노이즈 제거 과제에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Automatic material discovery with desired properties is a fundamental challenge for material sciences. Considerable attention has recently been devoted to generating stable crystal structures. While existing work has shown impressive success on supervised tasks such as property prediction, the progress on unsupervised tasks such as material generation is still hampered by the limited extent to which the equivalent geometric representations of the same crystal are considered. To address this challenge, we propose EMPNN a periodic equivariant message-passing neural network that learns crystal lattice deformation in an unsupervised fashion. Our model equivalently acts on lattice according to the deformation action that must be performed, making it suitable for crystal generation, relaxation and optimisation. We present experimental evaluations that demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 기존 결정 구조 생성 및 리aksation을 위한 기계학습 모델에서 기하학적 등변성의 부족을 해결하기 위해.
• 주기적인 결정 격자에 대해 $Euc(3)$ 및 $\text{SL}_3(\mathbb{Z})$ 군 작용에 대해 등변성을 강제하는 일반적인 프레임워크를 개발하기 위해.
• 스트레스 텐서나 레이블이 부여된 힘에 의존하지 않고 격자 변형을 모델링함으로써 비지도 학습을 통한 결정 재료 탐색을 가능하게 하기 위해.
• 구조화된 기하학적 인덕티브 바이어스를 통해 격자 복원 및 노이즈 제거 과제에서 일반화 능력과 강건성을 향상시키기 위해.
• 기울기와 삼중항에서 유도된 벡터장이 모델 성능 향상에 기여하는 방식을 입증하기 위해.

제안 방법

• 모델은 $Euc(3)$ 및 $\text{SL}_3(\mathbb{Z})$ 에 대해 등변성을 확보하는 메시지 전파 신경망 아키텍처를 사용하여 격자 변형에 대한 일관된 표현을 보장한다.
• 메시지 전파 동안 기하 정보를 인코딩하기 위해, 간선, 불변량의 기울기, 삼중항(각도 및 면적)에서 유도된 다수의 벡터장을 사용한다.
• 격자 변형을 모델링하기 위해 편평한 대칭 행렬을 극성 분해를 통해 도입하며, 일반화를 향상시키기 위해 유연한 대칭 제약 조건('sym')을 적용한다.
• 재구성된 격자 매개변수(길이 및 각도)의 평균 절대 오차(MAE)를 최소화하도록 손실 함수를 설계하였으며, 'ket-bra', 'gradient', 'triplets' 등의 변형이 존재한다.
• 원자와 그 상대적 위치를 기반으로 한 그래프 기반 표현을 사용하며, 기하학적으로 일관된 방식으로 노드 간에 메시지를 전달하여 잠재 표현을 업데이트한다.
• 지표가 부여된 스트레스 또는 힘 텐서가 필요 없이, 무작위 격자 변형을 사용하여 비지도 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 비지도 학습 또는 레이블이 부여된 힘에 의존하지 않고도 등변 MPNN 프레임워크가 결정 격자 변형을 효과적으로 모델링할 수 있는가?
• RQ2 $\text{SL}_3(\mathbb{Z})$ 에 대한 등변성 강제가 결정 구조 복원 및 노이즈 제거 과제에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 다양한 벡터장 정의 방식(예: 기울기 기반 vs. 삼중항 기반)이 모델 성능에 미치는 상대적 영향은 무엇인가?
• RQ4 EMPNN는 변형된 입력에서 원래 결정 격자를 복원하는 데 있어 불변 모델 및 DFT보다 어떻게 비교되는가?
• RQ5 기하학적 인덕티브 바이어스를 통해 모델은 분포 외의 결정 구조로 일반화할 수 있는가?

주요 결과

• EMPNN는 탄소-24와 Mp-20에서 불변 피드포워드 기준 모델(FF)을 능가하여, 각각 격자 길이의 MAE가 0.200 Å와 0.174 Å를 기록하였고, FF의 0.469 Å 및 0.534 Å보다 우수하다.
• 균일하게 입방 구조인 Perov-5에서는 구조가 대칭성이 높아서 FF 기준 모델과 유사한 성능을 보였으며, 이는 등변성의 이점이 제한적임을 시사한다.
• DFT는 Carbon-24와 Mp-20에서 격자 매개변수를 개선했지만, Perov-5에서는 성능을 개선하지 못했으며, 이는 변형 후 국소 에너지 최소점에서 벗어난 결정에서 DFT가 어려움을 겪음을 시사한다.
• 불변량의 기울기에서 파생된 벡터장은 일관된 성능 향상을 보이며, 특히 2-그래프에서 뛰어난 성능을 보인다. 반면 삼중항 기반 벡터장은 면적 및 각도 정보를 포함할 경우 더 우수한 성능을 기록한다.
• 'ket-bra' 벡터장 변형은 1-그래프에서 최고의 성능을 보였고, 기울기 기반 벡터장은 2-그래프에서 뛰어난 성능을 보이며, 이는 메시지 전파에서 그래프 구조의 중요성을 강조한다.
• EMPNN는 모든 데이터셋에서 격자 복원 과제에서 가장 낮은 MAE를 기록하였으며, Carbon-24에서는 0.200 Å 및 3.199°, Mp-20에서는 0.174 Å 및 1.965°를 기록하여 강력한 일반화 능력과 강건성을 입증하였다.