[논문 리뷰] A melting temperature database and a neural network model for melting temperature prediction

Qi‐Jun Hong|arXiv (Cornell University)|2021. 10. 20.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 약 9,375종의 재료로 구성된 새로 구축된 데이터베이스를 기반으로, 그래프 신경망(GNN)과 잔차 신경망(ResNet) 아키텍처를 사용한 기계학습 모델을 소개한다. 이 모델은 훈련 세트와 테스트 세트에서 각각 90 K와 160 K의 평균제곱오차(RMSE)를 기록하며, 실시간 예측을 위한 공개 온라인 배포가 이루어졌다.

ABSTRACT

I build a melting temperature database that contains approximately 10,000 materials. Based on the database, I build a machine learning model that predicts melting temperature in seconds. The model features graph neural network and residual neural network architecture. The root-mean-square errors of melting temperature are 90 and 160K for training and testing, respectively. The model is deployed online and is publicly available.

연구 동기 및 목표

• DFT 기반 융해 온도 계산의 높은 계산 비용과 느린 속도로 인해 대규모 재료 탐색이 제한되는 문제를 해결하기 위해.
• DFT 방법보다 느리지만 더 정확한 방법을 보완하기 위해, 초당 융해 온도를 예측할 수 있는 빠르고 정확한 기계학습 모델을 개발하기 위해.
• 실험적 자료와 DFT 계산 자료를 통합하여 종합적이고 공개 가능한 융해 온도 데이터베이스를 구축하기 위해.
• 고융해점 내화재료의 자동 반복적이고 자기 향상되는 재료 탐색을 가능하게 하는 통합된 ML-DFT 프레임워크를 만들기 위해.
• 연구자들이 온라인 API를 통해 빠르게 유망한 재료를 걸러내어 극한 환경에서의 고성능 재료 탐색을 가속화하기 위해.

제안 방법

• ASM 합금 상도 데이터베이스와 ChemNet 데이터베이스에서 웹 크롤링을 통해 융해 온도 데이터베이스를 구축하였으며, SLUSCHI 도구를 통해 DFT로 계산된 융해 온도 자료를 보완하였다.
• 모델의 입력으로 사용하기 위해 각 원소당 14개의 원소적 특징(예: 원자 반지름, 전기음성도, 비화합가전자, 주기율표 내 위치)을 추출하였다.
• 합성물 내 최대 4개의 원소 간 상호작용을 모델링하기 위해 메시지 전달을 두 번 수행하는 그래프 신경망(GNN)을 사용하였으며, 이는 이원 및 삼원 효과를 포착한다.
• GNN 처리된 표현을 4층의 잔차 신경망(ResNet)에 입력하여 융해 온도에 대한 엔드 투 엔드 회귀를 수행하였다.
• 8,635개의 훈련 재료와 740개의 테스트 재료를 사용하여 텐서플로우로 모델을 훈련하였으며, 최적화를 1,000 에포크 동안 수행하였다.
• 훈련된 모델을 마이크로소프트 아크류에서 공개 API로 배포하였으며, 향후 ASU 연구 계산 자원으로 이관되어 실시간 예측과 최근접 이웃 검색이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 다양한 실험적 및 DFT 계산 융해 온도 자료를 기반으로 훈련된 기계학습 모델이 DFT 수준의 정확도를 확보하면서도 계산 비용을 극도로 줄여 융해 온도를 예측할 수 있는가?
• RQ2 다성분 재료에서 융해 온도에 영향을 주는 원소 간 상호작용(예: 이원, 삼원)을 포착하는 데에 그래프 신경망 아키텍처가 얼마나 효과적인가?
• RQ3 모델의 일반화 성능은 탐색되지 않은 조성 영역에서 어떻게 나타나며, 정확도 대비 견고성 측면에서 DFT와 비교해 볼 때 어떠한가?
• RQ4 빠른 기계학습 모델과 고정밀 DFT 도구의 통합이 자율적이고 반복적인 재료 탐색을 위한 자기 일관성 있는 반복적 프레임워크를 만들 수 있는가?
• RQ5 데이터베이스 크기가 증가함에 따라 모델 성능은 어떻게 변화하는가? 자동화된 DFT 데이터 생성이 모델 정확도 향상에 어떤 역할을 하는가?

주요 결과

• 기계학습 모델은 훈련 세트에서 90 K, 테스트 세트에서 160 K의 평균제곱오차(RMSE)를 기록하여 강력한 예측 성능를 입증하였다.
• 모델은 평균적으로 각 재료당 약 1초 내로 융해 온도를 예측하여 대규모 재료 라이브러리의 빠른 걸러내기를 가능하게 하였다.
• 융해 온도 데이터베이스는 현재 9,375종의 재료를 포함하고 있으며, 이 중 982종은 융해점이 2,000 K 이상인 고융해점 화합물이다.
• 모델은 공개된 온라인 API로 배포되어 마이크로소프트 아크류에서 운영되며, 향후 ASU 연구 계산 자원으로 이관되어 보다 넓은 접근성을 확보할 예정이다.
• 모델의 예측 성능는 데이터베이스 내 가장 가까운 이웃의 실제 융해 온도를 반환함으로써 향상되어 해석 가능성과 신뢰도가 향상된다.
• ML 모델과 SLUSCHI DFT 도구의 통합은 유망한 후보를 자동으로 선별하여 고정밀 DFT 검증에 활용하는 피드백 루프를 가능하게 하여 재료 탐색을 가속화한다.