[논문 리뷰] Reproducible gray-box neural network for predicting the fragility index and the temperature-dependency of viscosity

Daniel R. Cassar|arXiv (Cornell University)|2020. 07. 07.

Theoretical and Computational Physics참고 문헌 8인용 수 3

한 줄 요약

이 논문은 SciGlass 데이터베이스의 화학 조성 정보를 사용하여 유리 형성 액체의 점도와 유리 전이 지수를 예측하는 오픈소스로 재현 가능한 그레이박스 신경망을 제시한다. MYEGA 방정식으로부터 유도된 물리적 제약 조건을 신경망의 패턴 인식 능력과 융합함으로써, 28개 원소를 포함한 약 13만 개의 예제로 구성된 검증 데이터셋에서 R²는 0.987, RMSE는 0.59를 달성하였다.

ABSTRACT

The temperature-dependence of the viscosity of a liquid is relevant in many scientific and technological fields, for example, it is critical to adjust process variables for glass making. The current trend in glass science is building reliable models for property prediction to accelerate glass development. Recently, Tandia and co-authors developed a gray-box neural network model with high performance; they connected the pattern recognition of neural networks with a physical model, the MYEGA equation. Similarly, the aim of this work was to use the SciGlass database to build an open-source gray-box model to predict viscosity. The viscosity dataset used had about 130,000 examples with 28 different chemical elements. This new gray-box model included a pre-processing unit that extracts and scales chemical features before feeding them to the neural network. The best model (after hyperparameter tuning) had a coefficient of determination ($R^{2}$) of 0.987 and root mean squared error (RMSE) of 0.59, both computed for the holdout dataset, which was not used for training. In addition to the temperature-dependence of viscosity, the fragility index of the liquid can also be computed by the gray-box model. The hope is that this free and open framework for property prediction can be used and improved by the community to accelerate the development of new materials.

연구 동기 및 목표

• 유리 형성 액체의 점도와 유리 전이 지수를 예측하기 위한 재현 가능하고 오픈소스의 프레임워크 개발
• MYEGA 방정식으로부터 도출된 물리적 통찰을 데이터 기반 신경망 학습과 융합하여 기존 모델을 초월하는 성능 향상
• 물질 개발 가속화를 위한 공동체의 사용과 확장 가능성을 보장하기 위해 모델의 공개 및 재현 가능성 확보
• 28개 원소를 포함한 고차원 화학 조성 데이터를 안정적인 특징 스케일링 및 사전 처리를 통해 효과적으로 다루기
• 온도에 따라 변화하는 점도와 유리 전이 지수에 대한 높은 예측 정확도 달성

제안 방법

• 모델은 유리 형성 액체의 조성에서 화학적 특징을 추출하고 스케일링하는 사전 처리 모듈을 사용한다.
• 사전 처리된 데이터를 기반으로 복잡한 구조-성질 관계를 학습하기 위해 신경망을 훈련시킨다.
• 열역학적 일관성을 확보하기 위해 모델 아키텍처에 MYEGA 방정식으로부터 유도된 물리적 제약 조건을 통합한다.
• 28개 화학 원소를 포함한 SciGlass 데이터베이스에서 약 13만 개의 예제로 구성된 데이터셋을 기반으로 모델을 훈련시킨다.
• 보류된 검증 세트에서 모델 성능을 최적화하기 위해 하이퍼파rameter 튜닝을 수행한다.
• 최종 모델은 온도에 따른 점도와 파생된 성질인 유리 전이 지수를 모두 출력한다.

실험 결과

연구 질문

• RQ1 화학 조성 정보만을 사용하여 그레이박스 신경망 모델이 유리 형성 액체의 점도에 대해 높은 예측 정확도를 달성할 수 있는가?
• RQ2 이러한 모델은 점도 예측 외에도 유리 전이 지수를 얼마나 잘 예측할 수 있는가?
• RQ3 MYEGA 방정식으로부터 도출된 물리적 제약 조건을 통합할 경우, 모델의 일반화 능력과 해석 가능성은 어느 정도 향상되는가?
• RQ4 모델을 완전히 재현 가능하고 오픈소스로 만들 수 있는가? 이를 통해 공동체 기반의 물질 개발을 지원할 수 있는가?
• RQ5 이러한 하이브리드 접근 방식을 통해 미리 보지 않은 데이터에 대해 어떤 수준의 성능(예: R², RMSE)을 달성할 수 있는가?

주요 결과

• 모델은 검증 데이터셋에서 결정계수(R²)가 0.987을 기록하여 뛰어난 예측 성능를 보였다.
• 점도 예측에 대한 평균 제곱근 오차(RMSE)는 0.59로, 테스트 세트에서 높은 정확도를 입증하였다.
• 모델은 화학 조성 정보로부터 온도에 따른 점도의 변화와 유리 전이 지수를 모두 성공적으로 예측하였다.
• MYEGA 방정식을 신경망 아키텍처에 통합함으로써 물리적 타당성과 모델의 강건성이 향상되었다.
• 프레임워크는 오픈소스이자 재현 가능하여 공동체의 사용과 향후 개발을 가능하게 하였다.
• 사용된 데이터셋은 28종의 다른 화학 원소를 포함한 약 13만 개의 예제로 구성되어 있었다.