[논문 리뷰] Atomistic graph networks for experimental materials property prediction

Tian Xie, Victor Bapst외 6명|arXiv (Cornell University)|2021. 03. 25.

Machine Learning in Materials Science참고 문헌 2인용 수 6

한 줄 요약

이 논문은 대규모 DFT 시뮬레이션에서 유전적 재료 임베딩을 학습하여 실험적 생성 에너지 예측 성능을 향상시키는 원자구조 그래프 네트워크(AGNs)를 제안한다. 시뮬레이션 구조를 기반으로 DFT 계산된 생성 에너지를 예측하는 그래프 신경망(GNN)을 훈련한 후, 제한된 실험 데이터로 미세조정함으로써, 특히 도전적인 일반화 설정에서 더 높은 데이터 효율성과 함께 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Machine Learning (ML) has the potential to accelerate discovery of new materials and shed light on useful properties of existing materials. A key difficulty when applying ML in Materials Science is that experimental datasets of material properties tend to be small. In this work we show how material descriptors can be learned from the structures present in large scale datasets of material simulations; and how these descriptors can be used to improve the prediction of an experimental property, the energy of formation of a solid. The material descriptors are learned by training a Graph Neural Network to regress simulated formation energies from a material's atomistic structure. Using these learned features for experimental property predictions outperforms existing methods that are based solely on chemical composition. Moreover, we find that the advantage of our approach increases as the generalization requirements of the task are made more stringent, for example when limiting the amount of training data or when generalizing to unseen chemical spaces.

연구 동기 및 목표

• 대규모 DFT 시뮬레이션 데이터를 활용하여 실험 데이터셋이 작을 경우의 재료 성질 예측 과제를 해결한다.
• 구성만을 고려하는 모델의 한계를 극복하기 위해 기계학습 모델에 원자구조 정보를 통합한다.
• 시뮬레이션된 생성 에너지에서의 지식을 실험적 생성 에너지 예측으로 이전하는 전이 학습 프레임워크를 개발한다.
• 더 나은 일반화 능력과 더 적은 훈련 데이터 환경에서의 성능 향상을 통해 데이터 효율성을 향상시킨다.
• 알 수 없는 화합물에 대한 보간 기반 예측을 지원하는 연속적이고 미분 가능한 재료 구조 임베딩 공간을 구축한다.

제안 방법

• 원자구조에서 DFT로 계산된 생성 에너지를 예측하기 위해 그래프 신경망(GNN) 트렁크를 훈련하여 이전 가능한 구조 임베딩을 학습한다.
• 이중 헤드 아키텍처를 사용: 한 헤드는 시뮬레이션된 생성 에너지를 회귀하고, 다른 헤드는 공유된 GNN 트렁크를 기반으로 실험 데이터로 미세조정된다.
• 시뮬레이션 데이터에 안정적인 매칭이 없는 화합물의 실험적 성질을 예측하기 위해 임베딩 공간에서 컨벡스 헐 유사 보간 기법을 적용한다.
• 원자 위치와 원자 간 거리를 엣지 특성으로 코딩함으로써 그래프 네트워크를 통해 구조적 인도적 편향을 통합한다.
• 3D 벡터 엣지 특성 사용 시, 회전 불변성을 향상시키기 위해 임의의 3D 회전을 통한 데이터 증강을 실시한다.
• 검증 세트를 보존한 교차 검증을 통해 초모델 하이퍼파rameter, 특히 보간 가중치 α를 최적화한다.

실험 결과

연구 질문

• RQ1 DFT 시뮬레이션에서 훈련된 그래프 신경망이 실험적 생성 에너지 예측 성능을 향상시키기 위해 이전 가능한 구조 임베딩을 학습할 수 있는가?
• RQ2 구성만을 고려하는 모델과 비교해 원자구조 정보를 통합함으로써 성능 향상이 얼마나 이루어지는가?
• RQ3 제한된 훈련 데이터 또는 새로운 화학적 공간으로의 일반화가 어려운 상황에서 제안된 방법이 데이터 효율성을 향상시키는가?
• RQ4 실험적 화합물이 시뮬레이션 데이터셋에 안정적인 매칭이 없을 경우 성능 저하 정도는 어떠한가?
• RQ5 그래프 네트워크의 구성 요소 중에서(노드, 엣지, 전체 조성) 예측 성능에 가장 크게 기여하는 요소는 무엇인가?

주요 결과

• 제안된 원자구조 그래프 네트워크(AGN)는 실험적 생성 에너지 예측에서 새로운 최고 성능을 기록하며 평균 절대 오차(MAE)가 0.24 eV/atom에 도달했다.
• 특히 데이터 부족 및 분포 외 일반화 설정에서 구성만을 고려하는 모델과 구조 정보를 반영하지 않는 기준 GNN보다 성능이 뚜렷이 뛰어나다.
• 시뮬레이션 데이터에 안정적인 매칭이 없는 화합물에 대해도 성능 저하가 미미하게 발생하여 구조적 신규성에 대해 강건함을 보였다.
• 오차는 화합물의 생성 에너지나 구조적 이웃 복잡도를 측정하는 역참여 비율(ipr)과 상관관계가 낮으며, 결정 구조가 완전히 알려지지 않은 경우에만 오차가 크게 증가한다 (ipr ≈ 1).
• 절단 실험 결과 원자 번호 특성이 전반적인 조성 또는 엣지 거리보다 더 중요하며, 3D 벡터 엣지와 함께 회전 증강을 적용해도 성능 향상이 없었는데, 이는 시뮬레이션 성능와 일반화 성능 사이의 상충 관계 때문일 수 있다.
• 최적의 보간 가중치 α는 1로 확인되었으며, 이는 컨벡스 헐 기반 보간 기법이 학습된 임베딩과 균형을 이루는 경우에 가장 효과적임을 시사한다.