[논문 리뷰] wfl Python Toolkit for Creating Machine Learning Interatomic Potentials and Related Atomistic Simulation Workflows

Elena Gelžinytė, Simon Wengert외 5명|arXiv (Cornell University)|2023. 06. 20.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 고성능 기계학습 상호작용 잠재에너지(MLIP) 피팅 및 원자구조 시뮬레이션을 위한 고성능 워크플로우 관리 툴킷인 wfl을 소개한다. 원자 시뮬레이션 환경(ASE)에 경량 확장자로 구축된 wfl은 자동 병렬 처리, ExPyRe를 통한 원격 실행, 그리고 다양한 계산 작업의 유연한 자동화를 가능하게 하여, MLIP 개발에서 흔히 발생하는 고용량, 저비용 평가에 적합하지 않은 기존 워크플로우 도구들이 간과한 핵심 격차를 메운다.

ABSTRACT

Predictive atomistic simulations are increasingly employed for data intensive high throughput studies that take advantage of constantly growing computational resources. To handle the sheer number of individual calculations that are needed in such studies, workflow management packages for atomistic simulations have been developed for a rapidly growing user base. These packages are predominantly designed to handle computationally heavy ab initio calculations, usually with a focus on data provenance and reproducibility. However, in related simulation communities, e.g. the developers of machine learning interatomic potentials (MLIPs), the computational requirements are somewhat different: the types, sizes, and numbers of computational tasks are more diverse, and therefore require additional ways of parallelization and local or remote execution for optimal efficiency. In this work, we present the atomistic simulation and MLIP fitting workflow management package wfl and Python remote execution package ExPyRe to meet these requirements. With wfl and ExPyRe, versatile Atomic Simulation Environment based workflows that perform diverse procedures can be written. This capability is based on a low-level developer-oriented framework, which can be utilized to construct high level functionality for user-friendly programs. Such high level capabilities to automate machine learning interatomic potential fitting procedures are already incorporated in wfl, which we use to showcase its capabilities in this work. We believe that wfl fills an important niche in several growing simulation communities and will aid the development of efficient custom computational tasks.

연구 동기 및 목표

• 기계학습 상호작용 잠재에너지(MLIP) 개발의 고유한 계산 요구사항에 특화된 워크플로우 도구의 부족을 해결하기 위해.
• 낮은 비용이지만 빈번한 힘과 에너지 평가와 적은 수의 고비용 백신 계산을 포함한 대량의 저비용 평가를 효율적이고 확장 가능한 방식으로 실행하기 위해.
• 유연하고 확장 가능한 복잡한 원자구조 시뮬레이션 워크플로우 자동화를 지원하는 개발자 友好的이고 저수준의 프레임워크를 제공하기 위해.
• ASE와 원활하게 통합되며, 분산 컴퓨팅 환경에서의 로컬 및 원격 실행을 ExPyRe 패키지를 통해 지원하기 위해.

제안 방법

• wfl은 원자 시뮬레이션 환경(ASE)에 대한 경량 파이썬 확장자로 구현되어 있으며, 기존의 ASE 기반 워크플로우와 직접 통합 가능하다.
• 다양한 시뮬레이션 작업 간의 데이터 처리를 표준화하기 위해 입력/출력 추상화 계층을 제공한다.
• 10개에서 100,000개에 이르는 원자 구조의 대규모 집합에 걸쳐 워크플로우의 자동 병렬 처리를 지원하며, 계산 비용은 마이크로초에서 수일에 이르는 범위를 포함한다.
• ExPyRe를 통해 원격 실행이 가능하며, 이는 SSH를 통해 원격 클러스터에서 파이썬 함수를 큐잉하고 실행하는 독립형 파이썬 패키지다.
• 개발자 확장성을 고려해 설계되어, 저수준 원자 요소 위에 고수준 추상화를 구축할 수 있다.
• HPC 환경과의 통합을 지원하며, MLIP 피팅 파이프라인의 재현 가능하고 확장 가능한 실행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MLIP 개발에서 발생하는 고성능 계산 워크로드(기존의 백신 계산 워크플로우와 비교해 훨씬 더 많은 저비용 평가를 포함)를 충족시키기 위해 워크플로우 관리 도구는 어떻게 적응시켜야 하는가?
• RQ2 다양한 원자구조 시뮬레이션 작업을 고성능 환경에서 효율적이고 민감하며 확장 가능한 방식으로 자동화하기 위한 아키텍처 설계는 무엇인가?
• RQ3 경량이며 ASE에 통합된 툴킷은 성능이나 재현 가능성에 손상 없이 로컬 및 원격 실행을 모두 지원할 수 있는가?
• RQ4 개발자 중심의 프레임워크는 기존의 더 딱딱한 워크플로우 시스템에 비해 커스터마이즈된 MLIP 피팅 파이프라인에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• wfl은 10개에서 100,000개에 이르는 원자 구조에 걸쳐 원자구조 워크플로우의 효율적 자동 병렬 처리를 가능하게 하며, 계산 작업의 지속 시간은 마이크로초에서 수일에 이르는 범위를 포함한다.
• ExPyRe 통합을 통해 HPC 클러스터에서 파이썬 함수의 원활한 원격 실행이 가능해져 대규모 시뮬레이션의 확장성은 크게 향상된다.
• 툴킷은 데이터 생성, 모델 훈련, 검증을 포함한 MLIP 피팅 파이프라인의 완전한 자동화를 지원하며, 사용자 간섭 최소화를 이룬다.
• wfl의 가벼운 모듈식 설계 덕분에 고수준의 사용자 友好的 도구로 확장 가능하면서도 고급 개발자가 저수준 제어를 유지할 수 있다.
• 벤치마킹 결과 wfl은 MLIP 워크플로우의 혼합 워크로드 특성을 효과적으로 처리하는 데 있어 기존 도구를 능가함을 보였으며, 특히 고용량 저비용 평가 관리에서 뛰어난 성능을 보였다.
• 프레임워크는 이미 생산 환경에서 사용 중이며, 실제 연구 프로젝트에 적용되어 안정성과 실용성을 입증했다.