[논문 리뷰] Dflow, a Python framework for constructing cloud-native AI-for-Science workflows

Xinzijian Liu, Yanbo Han외 16명|arXiv (Cornell University)|2024. 04. 29.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

Dflow는 컨테이너화된, 쿠버네티스 기반 운영을 사용하여 과학자들이 확장성 있고 클라우드 네이티브한 AI-for-Science 워크플로우를 구축할 수 있도록 해주는 오픈소스 파이썬 프레임워크입니다. 이 프레임워크는 이질적인 인프라를 통해 복잡하고 동시성 있는 워크플로우를 지원하며, 동시성 최대 1,200개 이상의 GPU 노드를 달성하고, 최소한의 추상화 오버헤드로 재사용 가능하고 이식 가능하며 관찰 가능한 과학 계산 파이프라인을 제공합니다.

ABSTRACT

In the AI-for-science era, scientific computing scenarios such as concurrent learning and high-throughput computing demand a new generation of infrastructure that supports scalable computing resources and automated workflow management on both cloud and high-performance supercomputers. Here we introduce Dflow, an open-source Python toolkit designed for scientists to construct workflows with simple programming interfaces. It enables complex process control and task scheduling across a distributed, heterogeneous infrastructure, leveraging containers and Kubernetes for flexibility. Dflow is highly observable and can scale to thousands of concurrent nodes per workflow, enhancing the efficiency of complex scientific computing tasks. The basic unit in Dflow, known as an Operation (OP), is reusable and independent of the underlying infrastructure or context. Dozens of workflow projects have been developed based on Dflow, spanning a wide range of projects. We anticipate that the reusability of Dflow and its components will encourage more scientists to publish their workflows and OP components. These components, in turn, can be adapted and reused in various contexts, fostering greater collaboration and innovation in the scientific community.

연구 동기 및 목표

• 초기 슈퍼컴퓨터에서의 수동 또는 스크립트 기반 과학 워크플로우 관리의 비효율성과 재현성 부족 문제를 해결하기 위해.
• 클라우드 및 고성능 컴퓨팅(HPC) 환경 간에 AI 기반 과학 워크로드(예: 액티브 러닝 및 동시 러닝)를 원활하게 통합할 수 있도록 하기 위해.
• 인프라 복잡성을 추상화하면서도 복잡한 프로세스 제어와 작업 스케줄링을 지원하는 사용자 우아하고 확장 가능하며 관찰 가능한 워크플로우 프레임워크를 제공하기 위해.
• 과학자들이 모듈화된, 컨테이너화된 운영(OPs)과 완전한 워크플로우를 게시하고 공유할 수 있도록 해, 협업과 재사용을 촉진하기 위해.
• AI for Science 분야에서 알고리즘 개념과 실질적 구현 간 격차를 해소하기 위해 워크플로우 오케스트레이션을 클라우드 네이티브 및 컨테이너 기반 실행과 통합하기 위해.

제안 방법

• Dflow는 로직과 의존성을 컨테이너 환경에 봉인한, 일급의, 재사용 가능하고 인프라에 종속되지 않는 계산 단위인 Operation(OP)을 도입합니다.
• 동적 오케스트레이션을 위해 쿠버네티스를 활용하여 다양한 컴퓨팅 플랫폼에서 수천 개의 동시 노드로의 수평 확장을 가능하게 합니다.
• 환경의 재현성을 보장하기 위해 컨테이너화를 사용하고, 개발 편의를 위해 컨테이너 없이 로컬 디버깅을 지원합니다.
• Bohrium와 같은 클라우드 네이티브 도구 및 플랫폼과 통합되어, 관리되는 클라우드 환경에서 워크플로우를 배포할 수 있습니다.
• Dflow-galaxy 확장 기능을 통해 팬인/팬아웃 및 재귀적 실행과 같은 복잡한 워크플로우 패턴을 지원하며, 워크플로우 조합을 위한 고수준 빌더 API를 제공합니다.
• 과학자들이 익숙한 프로그래밍 구조를 사용해 워크플로우를 조합할 수 있도록, 파이썬스러운 API를 갖춘 모듈식 아키텍처로 구성되어 있습니다.

실험 결과

연구 질문

• RQ1 AI for Science 분야의 과학 워크플로우는 어떻게 이질적인 클라우드 및 HPC 환경 간에 확장성 있고 이식 가능하며 재현 가능한 방식으로 만들 수 있는가?
• RQ2 액티브 러닝 및 고속도 스크리닝과 같은 복잡한 과학 워크로드의 효율적이고 동시성 있는 실행을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 워크플로우 프레임워크는 기계 학습 및 양자 화학 계산을 포함한 과학 워크로드에 대해 고수준 추상화와 저수준 제어를 동시에 어떻게 지원할 수 있는가?
• RQ4 반복적인 과학 파이프라인(예: 상호원자 잠재 에너지 훈련에 사용되는 파이프라인)의 개발 및 운영 오버헤드를 워크플로우 시스템은 어느 정도 줄일 수 있는가?
• RQ5 통합된 오픈소스 프레임워크는 구성 요소 재사용과 생태계 성장을 가능하게 함으로써 AI 기반 과학 발견의 보급을 가속화할 수 있는가?

주요 결과

• Dflow는 약 1,500개의 운영(OP)을 포함하는 워크플로우를 지원하며, 최대 동시성 1,200개 이상의 GPU 노드를 달성하여 복잡한 과학 워크로드에서 높은 확장성을 입증했습니다.
• 프레임워크는 액티브 러닝을 위한 네 단계 루프인 TESLA를 포함한 고급 워크플로우를 구현할 수 있도록 하며, 이는 훈련, 탐색, 스크리닝 및 DFT 레이블링을 포함합니다.
• Dflow-galaxy를 통해 빌더 패턴과 아티팩트 기반 데이터 플로우를 확장하여, 유연한 입력 처리 및 복잡한 동시 러닝(예: 산화환원 전위 계산)을 지원합니다.
• Dflow는 Bohrium과 같은 클라우드 플랫폼에서 프로덕션 수준의 워크플로우를 배포하는 데 사용되었으며, Dynacat TESLA, CP2K Lightning, Dynacat MD 등이 포함되어 있어 실제 배포 가능성과 타당성을 입증했습니다.
• Dflow의 모듈식 설계와 오픈소스 성격 덕분에 다양한 과학 분야에서 수십 개의 워크플로우 프로젝트가 개발되어 재사용과 생태계 성장을 촉진했습니다.
• 시스템은 완전한 관찰 가능성과 컨테이너 없이도 로컬 디버깅을 지원하여 개발자 생산성을 향상시키고 배포 장벽을 감소시켰습니다.