[논문 리뷰] MT-CGCNN: Integrating Crystal Graph Convolutional Neural Network with Multitask Learning for Material Property Prediction

Soumya Sanyal, Janakiraman Balachandran외 5명|arXiv (Cornell University)|2018. 11. 14.

Machine Learning in Materials Science참고 문헌 23인용 수 49

한 줄 요약

MT-CGCNN은 결정 그래프 합성곱 네트워크와 멀티태스크 학습을 결합하여 무기물 결정의 형성 에너지, 밴드 갭, 그리고 페르미 에너지를 공동으로 예측하고, CGCNN 단독보다 정확도와 데이터 효율성을 향상시킵니다.

ABSTRACT

Developing accurate, transferable and computationally inexpensive machine learning models can rapidly accelerate the discovery and development of new materials. Some of the major challenges involved in developing such models are, (i) limited availability of materials data as compared to other fields, (ii) lack of universal descriptor of materials to predict its various properties. The limited availability of materials data can be addressed through transfer learning, while the generic representation was recently addressed by Xie and Grossman [1], where they developed a crystal graph convolutional neural network (CGCNN) that provides a unified representation of crystals. In this work, we develop a new model (MT-CGCNN) by integrating CGCNN with transfer learning based on multi-task (MT) learning. We demonstrate the effectiveness of MT-CGCNN by simultaneous prediction of various material properties such as Formation Energy, Band Gap and Fermi Energy for a wide range of inorganic crystals (46774 materials). MT-CGCNN is able to reduce the test error when employed on correlated properties by upto 8%. The model prediction has lower test error compared to CGCNN, even when the training data is reduced by 10%. We also demonstrate our model's better performance through prediction of end user scenario related to metal/non-metal classification. These results encourage further development of machine learning approaches which leverage multi-task learning to address the aforementioned challenges in the discovery of new materials. We make MT-CGCNN's source code available to encourage reproducible research.

연구 동기 및 목표

• 재료 데이터의 한계와 여러 재료 특성을 예측하기 위한 보편적 서술자의 부족 문제를 다룬다.
• CGCNN을 통한 전이 가능한 일반화 결정 표현을 도입한다.
• 상관 관계가 있는 특성들을 공동으로 예측하고 일반화를 향상시키기 위해 멀티태스크 학습을 활용한다.
• MT-CGCNN으로 데이터 효율성과 최종 사용자 유틸리티(금속/비금속 분류)를 보장한다.

제안 방법

• 결정들을 원자들을 노드로, 결합을 간선으로 하는 결정 그래프로 결정들을 표현한다.
• 에지 게이팅을 가진 CGCNN을 사용하여 원자 표현을 학습하고 이를 크리스탈 벡터 v_G로 풀링한다.
• 각 속성마다 작업별 출력 헤드를 갖춘 하드 매개변수 공유 멀티태스크 학습을 적용한다.
• 작업 간 평균 제곱 오차의 가중합을 최적화하여 모델을 학습한다.
• 여러 속성-쌍 실험에서 MT-CGCNN과 CGCNN을 비교하고 데이터 효율성을 분석한다.
• 재현성을 위해 MT-CGCNN 소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 결정 그래프 표현을 사용하여 멀티태스크 학습이 상관 관계가 있는 재료 특성 예측을 개선할 수 있는가?
• RQ2 학습 데이터가 부족할 때 MT-CGCNN은 CGCNN에 비해 어떻게 성능이 나타나는가?
• RQ3 형성 에너지, 밴드 갭, 페르미 에너지 중 어떤 작업 조합이 가장 큰 성능 향상을 가져오는가?
• RQ4 다중 작업 예측이 재료의 안정성에 따른 순위나 금속/비금속 분류와 같은 의미 있는 최종 사용자 인사이트를 보존하는가?

주요 결과

• MT-CGCNN은 모든 실험에서 CGCNN보다 일관되게 우수하며, 네 가지 실험 설정에서 평균 MAE가 각각 8.3%, 3.8%, 1.7%, 4.4% 향상되었다.
• 예측된 밴드 갭(E_g)과 페르미 에너지(E_F)가 형성 에너지(ΔEf)와 함께 사용될 때 멀티태스크 설정에서 유의미한 이점을 보인다.
• 학습 데이터가 축소된 경우에도 MT-CGCNN은 CGCNN보다 더 나은 MAE를 달성하며, 50%의 학습 데이터로도 ΔEf와 E_g에 대해 CGCNN보다 더 나은 성능을 보인다.
• 최종 사용자 분석은 MT-CGCNN이 ΔEf에 따른 물질 순서를 유지하고(높은 Spearman 상관계수) 데이터 상황에 따라 금속/비금속 분류 AUC를 개선함을 보여준다.
• 일부 멀티태스크 설정에서 Hard parameter sharing MT가 ΔEf를 악화시킬 수 있어 작업 간 관계 효과를 나타낸다.
• MT-CGCNN의 소스 코드는 재현성을 위해 공개된다.