[논문 리뷰] ML4Chem: A Machine Learning Package for Chemistry and Materials Science

Muammar El Khatib, Wibe A. de Jong|arXiv (Cornell University)|2020. 03. 02.

Machine Learning in Materials Science인용 수 4

한 줄 요약

ML4Chem는 화학 및 재료 과학 분야에서 원자 중심 모델의 개발과 구현을 간소화하는 오픈소스이자 사용자 친화적인 머신러닝 라이브러리입니다. 데이터, 특성화, 모델, 최적화, 추론, 시각화로 구성된 모듈식 파이프라인을 제공하며, QM7 데이터셋을 대상으로 신경망과 커널 리지 회귀를 적용한 사례를 통해 복제 가능하고 확장 가능한 워크플로우를 실현합니다. 이는 파이토치와 Dask를 활용하여 높은 정확도의 에너지 예측을 달성합니다.

ABSTRACT

ML4Chem is an open-source machine learning library for chemistry and materials science. It provides an extendable platform to develop and deploy machine learning models and pipelines and is targeted to the non-expert and expert users. ML4Chem follows user-experience design and offers the needed tools to go from data preparation to inference. Here we introduce its atomistic module for the implementation, deployment, and reproducibility of atom-centered models. This module is composed of six core building blocks: data, featurization, models, model optimization, inference, and visualization. We present their functionality and easiness of use with demonstrations utilizing neural networks and kernel ridge regression algorithms.

연구 동기 및 목표

• 머신러닝 기반 재료 과학 분야의 복제 가능성 위기를 해결하기 위해 종단 간 머신러닝 워크플로우를 위한 통합된 오픈소스 플랫폼을 제공함으로써.
• 화학 및 재료 과학 분야의 비전문가 사용자의 진입 장벽을 낮추기 위해 사용성, 모듈성, 직관적인 설계를 중시함으로써.
• 신규 모델, 특성화 방법, 추론 파이프라인을 구현하기 위한 확장 가능하고 모듈화된 구성 요소를 전문가 사용자에게 제공함으로써.
• 파이토치, Dask, 표준화된 데이터 포맷을 활용하여 원자 구조 데이터에서 추론까지의 확장 가능하고 복제 가능한 머신러닝 워크플로우를 실현함으로써.
• 핵심 구성 요소를 분리하고 외부 프로그램 통합을 지원함으로써 상호 운용성과 장기적인 유지보수성을 향상시킴으로써.

제안 방법

• ML4Chem의 원자 구조 모듈은 데이터 처리, 특성화, 모델 정의, 최적화, 추론, 시각화의 여섯 가지 핵심 구성 요소로 구성되어 있습니다.
• 특성화는 쿨롱 행렬과 같은 원자 중심 기반 기술을 사용하며, 배치 처리 및 기준 공간 구축을 지원합니다.
• 커널 리지 회귀(KRR)와 신경망 같은 모델들은 파이토치를 사용하여 구현되었으며, RBF 커널 대역폭(σ = 26.81)과 같은 하이퍼파ram터는 경험적 거리 추정을 통해 최적화되었습니다.
• Dask는 분산 컴퓨팅을 위해 사용되며, 로컬 클러스터 또는 HPC 시스템에서 실시간 모니터링을 위한 웹 대시보드를 통해 병렬 데이터 로딩 및 모델 훈련을 가능하게 합니다.
• 라이브러리는 일관되고 사용자 경험 중심의 API(예: .calculate(), .get_latent_space())를 사용하여 각 모듈 간 직관적이고 탐색 가능한 인터페이스를 보장합니다.
• 모델 저장 및 로딩은 Atomistic 클래스를 통해 지원되며, 훈련된 모델과 관련된 특성 정보를 지속적으로 저장하고 재사용할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 재료 과학 분야의 머신러닝 워크플로우를 비전문가 사용자에게 더 복제 가능하고 접근하기 쉽게 만들 수 있을까요?
• RQ2 모듈화되고 확장 가능한 머신러닝 라이브러리는 계산 화학 분야에서 소프트웨어 분열 문제를 줄이고 장기적인 유지보수성을 향상시킬 수 있을까요?
• RQ3 통합된 파이프라인은 원자 구조 데이터에서 예측 추론까지의 전환 과정을 어느 정도 간소화할 수 있을까요?
• RQ4 Dask와 파이토치의 통합은 다양한 하드웨어 환경에서 확장 가능하고 상호작용 가능한 머신러닝 워크플로우를 얼마나 효과적으로 지원할 수 있을까요?
• RQ5 표준화되고 사용자 友好的한 인터페이스는 커널 리지 회귀나 오토인코더와 같은 고급 머신러닝 기법의 재료 연구 분야 내 보급을 얼마나 가속화할 수 있을까요?

주요 결과

• ML4Chem는 일관되고 직관적인 API를 사용하여 원자 구조 모델링의 전 과정(데이터 로딩에서 추론까지)을 복제 가능하게 완전한 머신러닝 파이프라인으로 성공적으로 구현했습니다.
• 커널 리지 회귀를 사용하여 QM7 데이터셋에서 높은 정확도의 에너지 예측을 달성했으며, 예측된 에너지와 진짜 에너지 간의 강한 일치를 보여주는 파리티 플롯을 제공합니다 (R²는 명시적으로 기재되지 않았지만, 시각적 피팅은 매우 우수합니다).
• Dask의 사용 덕분에 랩탑부터 HPC 클러스터까지의 스케일링이 원활하게 이루어지며, 웹 대시보드를 통한 실시간 모니터링으로 워크플로우의 투명성과 성능 프로파일링이 향상되었습니다.
• 쿨롱 행렬 특성화기(Featurizer)는 분자의 구조를 고정 크기의 특성 벡터로 성공적으로 인코딩하여 효과적인 모델 훈련과 일반화를 가능하게 했습니다.
• Atomistic.save() 및 load() 메서드를 통한 모델 지속성은 훈련된 모델과 관련 메타데이터(예: 기준 공간)를 세션 간에 신뢰성 있게 재사용할 수 있도록 보장했습니다.
• 모듈식 설계 덕분에 특성화기나 모델과 같은 개별 구성 요소를 별도로 사용할 수 있어 재사용성과 확장성이 향상되었습니다.