[논문 리뷰] Data-Augmentation for Graph Neural Network Learning of the Relaxed Energies of Unrelaxed Structures

Jason B. Gibson, Ajinkya C. Hire외 1명|arXiv (Cornell University)|2022. 02. 28.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 결정 구조 예측 알고리즘(CSPA)에서 흔히 생성되는 비균형 결정 구조의 형성 에너지 예측을 향상시키기 위해 단순하면서도 물리에 기반한 데이터 증강 기법을 제안한다. 훈련 데이터에 균형화된 구조의 미세한 변형된 비균형 구조를 추가함으로써, Nb-Sr-H 수소화물 테스트 세트에서 형성 에너지 예측의 평균 절대 오차(MAE)를 66% 감소시켜 원래의 251 meV/atom에서 86 meV/atom로 개선하였으며, 이는 고비용의 백터리즘 계산 이전에 불안정한 구조를 효과적으로 걸러내는 모델의 능력을 크게 향상시킨다.

ABSTRACT

Computational materials discovery has continually grown in utility over the past decade due to advances in computing power and crystal structure prediction algorithms (CSPA). However, the computational cost of the extit{ab initio} calculations required by CSPA limits its utility to small unit cells, reducing the compositional and structural space the algorithms can explore. Past studies have bypassed many unneeded extit{ab initio} calculations by utilizing machine learning methods to predict formation energy and determine the stability of a material. Specifically, graph neural networks display high fidelity in predicting formation energy. Traditionally graph neural networks are trained on large data sets of relaxed structures. Unfortunately, the geometries of unrelaxed candidate structures produced by CSPA often deviate from the relaxed state, which leads to poor predictions hindering the model's ability to filter energetically unfavorable prior to extit{ab initio} evaluation. This work shows that the prediction error on relaxed structures reduces as training progresses, while the prediction error on unrelaxed structures increases, suggesting an inverse correlation between relaxed and unrelaxed structure prediction accuracy. To remedy this behavior, we propose a simple, physically motivated, computationally cheap perturbation technique that augments training data to improve predictions on unrelaxed structures dramatically. On our test set consisting of 623 Nb-Sr-H hydride structures, we found that training a crystal graph convolutional neural networks, utilizing our augmentation method, reduced the MAE of formation energy prediction by 66\% compared to training with only relaxed structures. We then show how this error reduction can accelerates CSPA by improving the model's ability to filter out energetically unfavorable structures accurately.

연구 동기 및 목표

• 결정 구조 예측 알고리즘(CSPA)에서 흔히 발생하는 비균형 결정 구조의 형성 에너지 예측 성능이 열악한 문제를 해결하기 위해.
• 균형화된 구조에서의 예측 정확도와 비균형 구조에서의 예측 정확도 사이에 존재하는 반대 상관관계를 해결하기 위해, 이는 균형화된 데이터로 훈련된 모델이 비균형 구조에서는 성능이 떨어지기 때문이다.
• 비균형 기하학적 구조로의 일반화 능력을 향상시키기 위해 계산 비용이 낮고 물리적으로 타당한 데이터 증강 전략을 개발하기 위해.
• CSPA의 속도를 향상시키기 위해, 백터리즘 평가 이전에 에너적으로 불리한 구조를 더 정확하게 기계학습 기반으로 걸러낼 수 있도록 하기 위해.

제안 방법

• 이 방법은 균형화된 결정 구조에 작은, 물리적으로 타당한 원자 이동을 적용하여 비균형 구조 변형을 생성하는 흐트림 기법을 도입한다.
• 훈련 세트의 각 균형화된 구조는 하나의 변형된 구조와 쌍을 이루며, 최소한의 계산 비용으로 훈련 데이터를 두 배로 늘린다.
• 증강된 데이터 세트는 원본 항목당 하나의 균형화된 구조와 하나의 비균형 구조로 구성되어, 모델이 에너지 표면(PES)을 더 견고하게 학습할 수 있도록 한다.
• 결정 그래프 컨volutional 신경망(CGCNN)은 증강된 데이터로 훈련되어 형성 에너지를 예측하며, 손실은 평균 절대 오차(MAE)로 최소화된다.
• 모델의 성능은 623개의 Nb-Sr-H 수소화물 구조로 이루어진 보류된 테스트 세트에서 평가되며, 이는 균형화된 구조와 비균형 구조를 모두 포함한다.
• 수신기 작동 특성(ROC) 곡선과 진짜 양성 비율(TPR) 분석을 통해, 다양한 에너지 임계값에서 불안정한 구조를 걸러내는 능력을 평가한다.

실험 결과

연구 질문

• RQ1 단순하면서도 물리에 기반한 데이터 증강 기법이, 일반적으로 균형화된 데이터로만 훈련된 모델이 잘 예측하지 못하는 비균형 결정 구조의 GNN 예측 성능을 향상시킬 수 있는가?
• RQ2 균형화된 구조와 비균형 구조에서의 예측 정확도 사이에 존재하는 반대 상관관계는 여전히 지속되는가, 그리고 데이터 증강을 통해 이를 완화할 수 있는가?
• RQ3 기존의 균형화된 데이터로만 훈련하는 것과 비교해, 데이터 증강이 비균형 구조의 형성 에너지 예측에서 평균 절대 오차(MAE)를 어느 정도 감소시키는가?
• RQ4 증강된 모델은 CSPA에서 불안정한 구조를 걸러내는 데 어떻게 비교되는가, 그리고 낮은 거짓 음성 수를 확보하기 위해 필요한 에너지 임계값은 무엇인가?

주요 결과

• 증강된 데이터로 훈련한 결과, 비균형 구조의 형성 에너지 예측 MAE는 CGCNN 기준 251 meV/atom에서 86 meV/atom으로, CGCNN-HD 기준 172 meV/atom에서 82 meV/atom로 감소하였다.
• 균형화된 구조로만 훈련한 것과 비교해 증강된 데이터로 훈련한 모델은 MAE를 66% 감소시켜 비균형 기하학적 구조로의 일반화 능력 향상이 뚜렷하게 입증되었다.
• 증강된 모델은 39 meV/atom의 필터링 임계값에서 진짜 양성 비율(TPR)이 1.0을 달성하여 오직 130개의 구조만 잘못 분류하였으며, 기준 모델 대비 필요한 백터리즘 계산 횟수를 5배 감소시켰다.
• TPR가 0.7일 경우, 증강된 CGCNN는 6 meV/atom의 임계값에서 오직 54개의 구조만 잘못 분류하였으며, 정확도와 계산 효율성 측면에서 모든 다른 모델을 능가하였다.
• ROC 분석을 통해 증강된 모델이 균형화된 데이터로만 훈련된 모델보다 뚜렷이 뛰어난 성능을 보였으며, 특히 높은 정밀도로 안정된 구조를 식별하는 데서 두각을 나타냈다.
• 본 연구는 단순한 흐트림 기반 증강 전략조차도 GNN의 비균형 구조 예측 성능을 극적으로 향상시킬 수 있음을 입증하였으며, CSPA 워크플로우에서 더 효과적인 사전 걸러내기 가능성을 제시한다.