[논문 리뷰] NOMAD 2018 Kaggle Competition: Solving Materials Science Challenges Through Crowd Sourcing

Christopher Sutton, Luca M. Ghiringhelli외 8명|arXiv (Cornell University)|2018. 11. 30.

Machine Learning in Materials Science참고 문헌 84인용 수 20

한 줄 요약

이 논문은 3,000개의 (AlₓGa_yIn_z)₂O₃ 화합물에서 전자 밴드 갭 및 결정성 형성 에너지를 예측하기 위한 기계학습 모델을 평가한 NOMAD 2018 카글 경쟁을 제시한다. 최상의 솔루션들은 새로운 결정 격자 표현 방식, 기울기 부스팅을 사용한 앙상블 기반 기술자, 신경망을 활용한 원자 위치의 부드러운 중첩 기법을 활용하였으며, 표현 방식 선택이 사용된 회귀 알고리즘보다 모델 성능에 더 큰 영향을 미친다는 점을 드러냈다.

ABSTRACT

Machine learning (ML) is increasingly used in the field of materials science, where statistical estimates of computed properties are employed to rapidly examine the chemical space for new compounds. However, a systematic comparison of several ML models for this domain has been hindered by the scarcity of appropriate datasets of materials properties, as well as the lack of thorough benchmarking studies. To address this, a public data-analytics competition was organized by the Novel Materials Discovery (NOMAD) Centre of Excellence and hosted by the on-line platform Kaggle using a dataset of $3\,000$ (Al$_x$ Ga$_y$ In$_z$)$_2$ O$_3$ compounds (with $x+y+z = 1$). The aim of this challenge was to identify the best ML model for the prediction of two key physical properties that are relevant for optoelectronic applications: the electronic band gap energy and the crystalline formation energy. In this contribution, we present a summary of the top three ML approaches of the competition including the 1st place solution based on a crystal graph representation that is new for ML of the properties of materials. The 2nd place model combined many candidate descriptors from a set of compositional, atomic environment-based, and average structural properties with the light gradient-boosting machine regression model. The 3rd place model employed the smooth overlap of atomic positions representation with a neural network. To gain insight into whether the representation or the regression model determines the overall model performance, nine ML models obtained by combining the representations and regression models of the top three approaches were compared by looking at the correlations among prediction errors. At fixed representation, the largest correlation is observed in predictions made with kernel ridge regression and neural network, reflecting a similar performance on the same test set samples.

연구 동기 및 목표

• 물질 과학 기계학습 분야에서 표준화된 데이터셋과 벤치마킹 연구의 부족 문제를 해결하기 위해.
• 복잡한 산화물 물질에서 핵심 옵티오일렉트로닉 성질을 예측하기 위한 다양한 기계학습 모델을 평가하고 비교하기 위해.
• 공개적이고 협업 기반의 경쟁 프레임워크를 통해 물질 성질 예측에 가장 효과적인 특징 표현 방식과 회귀 모델을 규명하기 위해.
• 표현 방식과 모델 아키텍처가 예측 성능에 미치는 상대적 영향에 대한 통찰을 제공하기 위해.

제안 방법

• 3,000개의 (AlₓGa_yIn_z)₂O₃ 화합물(여기서 x + y + z = 1)으로 구성된 정제된 데이터셋을 사용하여 카글에서 공개적인 데이터 과학 경쟁을 개최하였다.
• 경쟁의 초점은 전자 밴드 갭 에너지 및 결정성 형성 에너지 두 가지 물리적 성질을 예측하는 데에 맞춰져 있었다.
• 우승 솔루션은 물질 구조 내 원자 간 연결성과 대칭성을 인코딩하기 위해 새로운 결정 격자 신경망 표현 방식을 사용하였다.
• 2등 모델은 구성성, 원자 환경 기반, 평균 구조 기반 기술자를 조합하여 경량 기울기 부스팅 기반 기계(LGBM) 회귀 모델을 적용하였다.
• 3등 접근 방식은 원자 위치의 부드러운 중첩(SOAP) 표현 방식을 사용하여 딥 네트워크를 활용한 회귀를 수행하였다.
• 예측 오차 상관관계에 영향을 미치는 표현 방식과 회귀 모델의 영향을 평가하기 위해 9개의 하이브리드 모델 간 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 복잡한 산화물에서 물질 성질을 예측할 때, 결정 격자, SOAP, 또는 복합 기술자 중 어떤 기계학습 표현 방식이 가장 정확한 예측을 도출하는가?
• RQ2 다양한 회귀 모델(예: 커널 리지, 신경망, 기울기 부스팅)이 동일한 특징 표현에 적용되었을 때, 각각의 성능은 어떻게 나타나는가?
• RQ3 특징 표현 선택이 회귀 알고리즘 선택보다 모델 성능에 더 큰 영향을 미치는 정도는 어느 정도인가?
• RQ4 다양한 모델 조합 간 예측 오차의 상관관계 구조는 어떻게 되며, 이는 모델 일반화 능력과 오차 패턴에 대해 어떤 통찰을 제공하는가?

주요 결과

• 신규 결정 격자 표현 방식을 기반으로 한 1등 솔루션은 밴드 갭과 형성 에너지 예측에서 가장 높은 정확도를 달성하였다.
• 다양한 기술자 유형을 조합하고 경량 기울기 부스팅 회귀를 적용한 2등 모델은 테스트 세트 전반에서 뛰어난 일반화 능력과 강건성을 보였다.
• 원자 위치의 부드러운 중첩(SOAP) 표현 방식을 사용한 3등 모델은 국소 구조적 영향을 잘 포착하는 데서 경쟁력 있는 성능을 보였다.
• 고정된 표현 방식에서 커널 리지 회귀와 신경망은 예측 오차 상관관계가 가장 높았으며, 이는 동일한 테스트 샘플에서 유사한 성능 패턴을 보임을 시사한다.
• 연구 결과에 따르면, 표현 방식 선택이 사용된 회귀 모델 선택보다 모델 성능에 더 큰 영향을 미친다는 점이 하이브리드 모델 간 오차 상관관계 패atters를 통해 입증되었다.
• 경쟁를 통해 물질 과학 응용 분야에서 기계학습 예측 성능을 향상시키기 위해 구조적 및 구성성 특징 공학의 중요성이 부각되었다.