[논문 리뷰] M$^2$Hub: Unlocking the Potential of Machine Learning for Materials Discovery

Yuanqi Du, Yingheng Wang외 7명|arXiv (Cornell University)|2023. 06. 14.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

M²Hub는 가상 스크리닝, 역설계, 분자 시뮬레이션 분야에서 데이터셋, 작업, 모델, 벤치마크를 통합하여 자동재료발견을 가속화하기 위해 설계된 종합적인 머신러닝 툴킷이다. 6종의 물질 유형과 56개의 작업을 포함하는 11개의 데이터셋을 제공하며, 현실적인 데이터 분할을 통해 최신 모델(비정기적 구조를 포함한 모델)의 성능 예측 및 생성 설계에 대한 벤치마크를 가능하게 하며, 오픈소스 코드와 투명한 평가 프로토콜을 제공한다.

ABSTRACT

We introduce M$^2$Hub, a toolkit for advancing machine learning in materials discovery. Machine learning has achieved remarkable progress in modeling molecular structures, especially biomolecules for drug discovery. However, the development of machine learning approaches for modeling materials structures lag behind, which is partly due to the lack of an integrated platform that enables access to diverse tasks for materials discovery. To bridge this gap, M$^2$Hub will enable easy access to materials discovery tasks, datasets, machine learning methods, evaluations, and benchmark results that cover the entire workflow. Specifically, the first release of M$^2$Hub focuses on three key stages in materials discovery: virtual screening, inverse design, and molecular simulation, including 9 datasets that covers 6 types of materials with 56 tasks across 8 types of material properties. We further provide 2 synthetic datasets for the purpose of generative tasks on materials. In addition to random data splits, we also provide 3 additional data partitions to reflect the real-world materials discovery scenarios. State-of-the-art machine learning methods (including those are suitable for materials structures but never compared in the literature) are benchmarked on representative tasks. Our codes and library are publicly available at https://github.com/yuanqidu/M2Hub.

연구 동기 및 목표

• 분자 및 생물분자 응용 분야에 비해 자동재료발견을 위한 머신러닝 인프라의 격차를 해소하기 위해.
• 자료, 작업, 모델, 평가, 벤치마크를 포함한 자동재료과학 분야의 전반적인 머신러닝 워크플로우를 지원하는 통합된 중심 플랫폼을 제공하기 위해.
• 다양한 데이터 분할, 특히 분포 외 시나리오를 포함하여 현실적인 평가를 통해 모델의 강건성을 향상시키기 위해.
• 합성 데이터셋, 평가 지표, 오라클 함수를 제공하여 생성형 재료 설계를 지원하기 위해.
• 기존에 자동재료 분야에서 비교된 바가 없던 다양한 머신러닝 모델을 대표적인 작업에서 벤치마크하기 위해.

제안 방법

• 6종의 물질 유형(예: 결정, 2D 물질, MOFs)에 걸쳐 11개의 데이터셋을 수집하여 8종의 물질 특성에서 56개의 작업을 커버한다.
• 랜덤 분할 외에 세 가지 추가적인 데이터 분할을 설계하여 자동재료발견에서의 실제 분포 외 시나리오를 반영한다.
• 성능 예측 및 생성 작업을 위한 13개의 대표적 머신러닝 모델(그래프 신경망(CGCNN, MEGNet, SchNet, DimeNet++, GemNet, Equiformer, LEFTNet) 및 조성 기반 모델(ALIGNN))을 통합한다.
• 표준화된 데이터 처리 파이프라인과 평가 프로토콜을 구현하며, 회귀 작업에 대한 지표로 MAE, RMSE, R² 등을 포함한다.
• 역설계 및 생성형 재료 모델링을 위한 오라클 함수와 평가 프레임워크를 제공한다.
• 모든 코드, 데이터셋, 벤치마크 결과를 공개 GitHub 리포지토리에 호스팅하여 재현 가능성과 커뮤니티 활용을 보장한다.

실험 결과

연구 질문

• RQ1 통합 플랫폼은 자동재료발견 분야에서 머신러닝 모델의 재현성과 벤치마크를 어떻게 향상시킬 수 있는가?
• RQ2 다양한 재료와 성능 예측 작업, 비정기적 구조를 포함한 경우에 최신 모델의 성능 차이에 대해 어떻게 평가할 수 있는가?
• RQ3 실제 데이터 분할(예: 분포 외)은 모델 일반화 및 평가 신뢰성에 어떤 영향을 미치는가?
• RQ4 기존 머신러닝 모델이 생성형 재료 설계 작업에 얼마나 효과적으로 적용될 수 있는가?
• RQ5 모델 아키텍처, 학습 방법, 목적 함수가 특정 자동재료발견 문제 해결에 어떤 역할을 하는가?

주요 결과

• M²Hub는 8종의 물질 특성에서 56개의 작업을 포함하는 11개의 정제된 데이터셋을 제공하며, 생성 모델링을 위한 2개의 합성 데이터셋도 포함한다.
• 벤치마크는 랜덤 분할 외에 세 가지 현실적인 데이터 분할을 포함하여 분포 외 설정에서의 모델 평가 강건성을 향상시킨다.
• 검토된 모델들 중 DimeNet++과 GemNet는 qmof 밴드 갭 작업에서 평균 순위 2.4와 2.9를 기록했으며, ALIGNN은 조성 기반 작업에서 평균 순위 2.3를 기록해 뛰어난 성능을 보였다.
• 학습 효율성은 크게 다름: CGCNN과 SchNet는 빠름(예: V100에서 pdos 작업 시 68초), 반면 Equiformer와 LEFTNet는 느림(예: pdos 작업 시 각각 713초와 117초), 정확도와 추론 속도 사이의 상충 관계를 보여줌.
• EGNN와 DimeNet++은 여러 작업에서 뛰어난 성능을 보이며, EGNN는 100원자 이하 시스템에서 e_form 작업에서 가장 낮은 MAE(0.0113)를 기록했다.
• 벤치마크 결과에 따르면 모델 선택이 성능에 상당한 영향을 미치며, ALIGNN과 SchNet는 다양한 재료와 성질 유형에서 뛰어난 일반화 성능을 보였다.