[논문 리뷰] Large-scale machine-learning-assisted exploration of the whole materials space

Jonathan Schmidt, Noah Hoffmann외 6명|arXiv (Cornell University)|2022. 10. 02.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 결정 구조 그래프 주목망(CGAT) 기반의 대규모 머신러닝 프레임워크를 제시하여 전체 무기물질 공간에 대한 가속화되고 고속의 탐색을 가능하게 한다. 화학적 및 구조적 다양성의 편향을 줄이기 위해 훈련 데이터를 보강함으로써, 모델은 사전에 없던 일반화 정확도를 달성하여 약 10억 개의 화합물 중에서 19,500개 이상의 새로운 안정 화합물과 약 150,000개의 근접 안정 물질을 식별하였으며, 이후 DFT(ab initio) 검증을 통해 초전도체 및 초경성 물질 후보를 발견하였다.

ABSTRACT

Crystal-graph attention networks have emerged recently as remarkable tools for the prediction of thermodynamic stability and materials properties from unrelaxed crystal structures. Previous networks trained on two million materials exhibited, however, strong biases originating from underrepresented chemical elements and structural prototypes in the available data. We tackled this issue computing additional data to provide better balance across both chemical and crystal-symmetry space. Crystal-graph networks trained with this new data show unprecedented generalization accuracy, and allow for reliable, accelerated exploration of the whole space of inorganic compounds. We applied this universal network to perform machine-learning assisted high-throughput materials searches including 2500 binary and ternary structure prototypes and spanning about 1 billion compounds. After validation using density-functional theory, we uncover in total 19512 additional materials on the convex hull of thermodynamic stability and ~150000 compounds with a distance of less than 50 meV/atom from the hull. Combining again machine learning and ab-initio methods, we finally evaluate the discovered materials for applications as superconductors, superhard materials, and we look for candidates with large gap deformation potentials, finding several compounds with extreme values of these properties.

연구 동기 및 목표

• 기존의 물질 데이터베이스에서 발생하는 데이터 편향이 물질 과학 분야의 머신러닝 모델 일반화 능력을 제한하는 문제를 해결하기 위해.
• 머신러닝을 활용한 예측을 통해 전체 무기물질 공간을 고속으로 신뢰할 수 있는 방식으로 탐색할 수 있도록 하기 위해.
• 이원 및 삼원 구조 프로토타입 전반에 걸쳐 새로운 열역학적 안정 및 근접 안정 물질을 식별하기 위해.
• 초전도 전이 온도가 매우 높거나 갭 변형 에너지가 큰 등의 극단적인 물리적 성질을 가지는 새로운 물질을 발견하기 위해.
• 밀도-functional 이론(DFT)을 사용한 검증과 함께, 프로토타입별 정밀 조정을 위한 전이 학습 파이프라인 수립을 위해.

제안 방법

• 연구는 원자적 특징, 간선 특징, 주목망 메커니즘을 사용하여 비완화된 결정 구조를 처리하는 결정 구조 그래프 주목망(CGAT)을 활용하여 볼륨에 대한 에너지 예측을 수행한다.
• 메시지 전달 아키텍처를 사용하며, 원자 이웃에 대한 다중 헤드 주목망을 적용하고, 주목망 계수는 학습된 에너지 점수에서 계산되며 하이퍼네트워크를 통해 갱신된다.
• 간선 특징은 별도의 주목망 메커니즘을 사용하여 반복적으로 갱신되며, 노드 표현은 잔차 연결과 ROOST를 통한 전역적 맥락을 통해 개선된다.
• 최종 예측 헤드는 잔차 신경망을 사용하여 볼륨에 대한 에너지 거리 예측을 수행하며, L1 손실과 AdamW 최적화 기법을 사용해 훈련된다.
• 전이 학습 프rotocol을 적용: 초기 예측 결과는 DFT로 검증되며, 새로운 데이터를 사용해 프로토타입별 모델을 미세 조정하여 정확도를 향상시킨다.
• 이 프레임워크는 약 10억 개의 화합물을 포함하는 2,500개의 이원 및 삼원 구조 프로토타입에 적용되었으며, 훈련에 100만 개 이상의 물질, 검증에 156,483개의 물질을 사용하였다.

실험 결과

연구 질문

• RQ1 균형 잡힌 물질 데이터셋으로 훈련된 머신러닝 모델이 화학적 및 구조적 프로토타입이 부족한 요소와 구조를 포함한 전체 무기물질 공간에서 일반화 성능을 달성할 수 있는가?
• RQ2 대규모 머신러닝 기반 고속 걸러내기 방법을 통해 얼마나 많은 새로운 열역학적 안정 및 근접 안정 무기 화합물이 발견될 수 있는가?
• RQ3 고급 물리적 성질을 가지는 물질, 예를 들어 높은 초전도 전이 온도 또는 큰 갭 변형 에너지 잠재력을 가진 물질을 식별하는 데 모델의 성능은 어떠한가?
• RQ4 초기 걸러내기 이후, 특정 결정 구조 프로토타입에 대해 전이 학습이 얼마나 정확도 향상에 기여하는가?
• RQ5 학습 데이터 분포 외부로 일반화할 때 기존 방법과 비교해 모델의 성능은 어떻게 되는가?

주요 결과

• 모델은 약 10억 개의 화합물에서 볼륨에 대한 열역학적 안정성의 볼륨에 속하는 19,512개의 추가 물질을 식별하여 기존에 알려진 안정 물질 공간을 크게 확장하였다.
• 추가로 약 150,000개의 화합물이 볼륨에서 50 meV/atom 이내에 위치하여 실험적 합성 가능성이 매우 높다는 것을 시사하였다.
• 화학적 및 결정 대칭성 공간의 편향을 줄이기 위한 데이터 증강 덕분에, 모델은 사전에 없던 일반화 정확도를 달성하였다.
• 전이 학습을 통해 모든 프로토타입을 제외하고는 두 개의 프로토타입인 가르넷과 루들슨든–팝퍼 계층형 퍼보스카이트에 대해 한 번의 라운드로 평균 절대 오차(MAE)를 충분히 낮춘 후, 두 번째 라운드를 거쳐 정밀 조정이 이루어졌다.
• 이 프레임워크는 초전도 전이 온도와 갭 변형 잠재력이 극단적인 값을 가지는 몇 가지 화합물을 성공적으로 식별하여, 목표 지향적 물질 발견에 있어 실용성을 입증하였다.
• 각 CGAT 모델의 훈련에는 V100 GPU를 사용해 약 1,000시간의 GPU 시간이 소요되었으며, 전체 파이프라인은 가우스 슈퍼컴퓨팅 센터의 고성능 계산 자원을 활용해 실행되었다.