[논문 리뷰] Multi-task graph neural networks for simultaneous prediction of global and atomic properties in ferromagnetic systems

Massimiliano Lupo Pasini, Zhang, Pei외 2명|arXiv (Cornell University)|2022. 02. 04.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 공유된 컨volutional 백본과 작업별 헤드를 사용하여 펌웨어자성 FePt 합금에서 전역(예: 혼합 엔탈피) 및 원자적(예: 전하 이동, 자화모멘트) 성질을 동시에 예측하는 다중 작업 그래프 신경망인 HydraGNN을 소개한다. 모델은 단일 작업 학습과 유사한 예측 정확도를 달성하면서도 별도의 모델을 훈련하는 것보다 훈련 비용을 2배 이상 절감한다. 이는 성질 간 물리적 상관관계를 활용하여 데이터 효율성을 향상시키기 때문이다.

ABSTRACT

We introduce a multi-tasking graph convolutional neural network, HydraGNN, to simultaneously predict both global and atomic physical properties and demonstrate with ferromagnetic materials. We train HydraGNN on an open-source ab initio density functional theory (DFT) dataset for iron-platinum (FePt) with a fixed body centered tetragonal (BCT) lattice structure and fixed volume to simultaneously predict the mixing enthalpy (a global feature of the system), the atomic charge transfer, and the atomic magnetic moment across configurations that span the entire compositional range. By taking advantage of underlying physical correlations between material properties, multi-task learning (MTL) with HydraGNN provides effective training even with modest amounts of data. Moreover, this is achieved with just one architecture instead of three, as required by single-task learning (STL). The first convolutional layers of the HydraGNN architecture are shared by all learning tasks and extract features common to all material properties. The following layers discriminate the features of the different properties, the results of which are fed to the separate heads of the final layer to produce predictions. Numerical results show that HydraGNN effectively captures the relation between the configurational entropy and the material properties over the entire compositional range. Overall, the accuracy of simultaneous MTL predictions is comparable to the accuracy of the STL predictions. In addition, the computational cost of training HydraGNN for MTL is much lower than the original DFT calculations and also lower than training separate STL models for each property.

연구 동기 및 목표

• 자기적 성질이 상호 연관된 물리적 성질(예: 혼합 엔탈피, 전하 이동, 자화모멘트) 간의 물리적 상관관계를 활용하여 계산 비용과 데이터 요구량을 줄이면서, 펌웨어자성 시스템에서 전역 및 원자적 물질 성질을 동시에 예측할 수 있는 데이터 효율적인 딥 러닝 모델을 개발하는 것.
• 전역 및 원자적 성질을 동시에 예측할 수 있는 통합 신경망 아키텍처를 설계하여 복수의 단일 작업 모델을 하나의 다중 헤드 모델로 대체함으로써 훈련 효율성을 향상시키는 것.
• 고정된 BCT 구조와 부피를 가진 FePt의 전체 조성 범위를 커버하는 DFT로 생성된 데이터셋을 기반으로 모델을 검증하는 것.
• 비균형 상태 재료에서 복잡한 물리적 관계를 효과적으로 포착할 수 있는 그래프 신경망을 활용한 다중 작업 학습의 잠재력을 입증하는 것.

제안 방법

• HydraGNN은 원자 구조를 그래프로 표현한 후(원자를 노드로, 결합을 간선으로), 공유된 그래프 컨volution 신경망(GCNN) 백본을 사용해 국소적 원자 간 상호작용 특징을 추출한다.
• 공유된 특징 추출 후, 작업별 헤드를 사용해 서로 다른 물리적 성질을 예측한다: 혼합 엔탈피(전역), 원자 전하 이동, 원자 자화모멘트(원자별).
• 모델은 다중 작업 학습(MTL)을 통해 엔드 투 엔드로 훈련되며, 모든 손실 함수의 기울기가 동시에 역전파되어 일반화 능력과 특징 공유 능력을 향상시킨다.
• 그래프 컨볼루션 레이어의 유연한 집계 정책을 지원하여 데이터의 물리적 성격에 따라 맞춤형 설정이 가능하다.
• 모델은 고정된 체심입방형(BCT) 구조와 부피를 가진 FePt의 DFT 데이터셋을 기반으로 훈련되며, Fe 농도에서 Pt 농도까지의 모든 조성을 커버한다.
• 통계적 안정성과 신뢰할 수 있는 오차 추정을 확보하기 위해 무작위 가중치 초기화를 사용한 12회의 독립된 훈련 런을 수행한다.

실험 결과

연구 질문

• RQ1 단일 다중 작업 그래프 신경망 아키텍처가 펌웨어자성 재료에서 전역 및 원자적 성질을 효과적으로 예측할 수 있는가?
• RQ2 공유된 표현을 활용한 다중 작업 학습이 단일 작업 학습에 비해 예측 정확도와 데이터 효율성을 어떻게 향상시키는가?
• RQ3 물리적 성질 간 상관관계(예: 엔탈피, 전하 이동, 자화모멘트)가 낮은 데이터 환경에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 다중 작업 모델을 훈련하는 데 드는 계산 비용은 각 성질에 대해 별도의 단일 작업 모델을 훈련하는 것보다 얼마나 되는가?
• RQ5 특정 데이터 증강 또는 전이 학습 없이도 모델이 FePt의 전체 조성 범위에서 일반화 가능한가?

주요 결과

• 혼합 엔탈피 예측에 대해 테스트의 평균 제곱근 오차(RMSE)는 1.02×10⁻² ± 1.16×10⁻³ eV/atom로, 단일 작업 학습(STL) 모델과 유사한 정확도를 달성한다.
• 전하 이동 예측의 RMSE는 5.94×10⁻³ ± 4.39×10⁻⁴ eV/atom이며, 자화모멘트 예측의 RMSE는 8.77×10⁻³ ± 3.18×10⁻⁴ μB로, STL 기준선과 동일한 정확도를 확보한다.
• 세 가지 성질을 동시에 예측하는 다중 작업 모델의 훈련 시간은 세 개의 별도 단일 작업 모델을 훈련하는 것보다 2.2배 이상 빠르다.
• 원래 DFT 계산에 비해 계산 비용을 수백 배까지 줄여, 물질 성질의 신속한 걸러내기(스크리닝)를 가능하게 한다.
• 공유된 컨볼루션 레이어는 국소적 원자 간 상호작용에 관련된 특징을 효과적으로 학습하며, 이는 모든 예측 작업 간에 전달된다.
• 상관관계가 있는 다수의 성질을 함께 훈련하면 데이터 효율성이 향상되고 불확도가 감소하지만, 너무 많은 상관관계가 없는 성질을 함께 제약하면 성능이 저하될 수 있다.