[논문 리뷰] AlabOS: A Python-based Reconfigurable Workflow Management Framework for Autonomous Laboratories

Yuxing Fei, Bernardus Rendy외 11명|arXiv (Cornell University)|2024. 05. 22.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

AlabOS는 자율 실험실을 위한 파이썬 기반의 재구성 가능한 워크플로우 관리 프레임워크로, 재료 연구 분야에서 실험 워크플로우의 유연하고 모듈적이며 동시 실행을 가능하게 한다. 복잡한 작업 의존성, 병렬 처리 및 동적 재구성 기능을 지원하며, 피봇 실험실에서 약 2,500건 이상의 샘플을 성공적으로 조율했고, 하루 최고 처리량은 149건에 달한다.

ABSTRACT

The recent advent of autonomous laboratories, coupled with algorithms for high-throughput screening and active learning, promises to accelerate materials discovery and innovation. As these autonomous systems grow in complexity, the demand for robust and efficient workflow management software becomes increasingly critical. In this paper, we introduce AlabOS, a general-purpose software framework for orchestrating experiments and managing resources, with an emphasis on automated laboratories for materials synthesis and characterization. AlabOS features a reconfigurable experiment workflow model and a resource reservation mechanism, enabling the simultaneous execution of varied workflows composed of modular tasks while eliminating conflicts between tasks. To showcase its capability, we demonstrate the implementation of AlabOS in a prototype autonomous materials laboratory, A-Lab, with around 3,500 samples synthesized over 1.5 years.

연구 동기 및 목표

• 자율 실험실에서의 유연하고 확장 가능하며 견고한 워크플로우 관리의 증가하는 필요성을 해결하기 위해.
• 기존 프레임워크가 강제하는 고정된 순차적 워크플로우와 복잡한 의존성 및 병렬 실행 지원 부족 문제를 극복하기 위해.
• 연구자가 저수준 프로그래밍 최소화로 다양한 재구성 가능한 실험 워크플로우를 정의하고 실행할 수 있도록 하기 위해.
• 자율 주행 실험실 환경에서 물리적 하드웨어, 데이터 관리 및 인간의 개입을 포함한 운영을 원활하게 통합하기 위해.
• 플랫폼에 종속되지 않고 사용자 友好的한 시스템을 제공하여 고처리량, 다중 샘플 실험 캠패인에 스케일링할 수 있도록 하기 위해.

제안 방법

• 모든 실험 작업이 입력, 출력 및 자원 요구 사항이 정의된 독립적인 작업 액터로 캡슐화된 태스크 기반 액터 모델 아키텍처를 사용한다.
• 동시 실행 작업 간의 충돌을 방지하기 위해 자원 점유 메커니즘을 구현하여 공유 실험 자원의 안전하고 효율적인 스케줄링을 보장한다.
• 고수준 파이썬 API를 제공하여 사용자가 저수준 시스템 프로그래밍 없이도 복잡한 트리 구조 또는 병렬 작업 시퀀스를 조합할 수 있도록 한다.
• 실시간 모니터링과 인간-기계 상호작용을 위한 대시보드 및 알림 시스템을 포함하여, 특히 점검 및 오류 복구 시 유용하다.
• 모듈러하고 확장 가능한 설계를 통해 워크플로우를 관리하며, 동적 재구성 기능과 자동화 및 수동 개입 지점 모두를 지원한다.
• 하드웨어 제어기 및 데이터 스토리지와 통합하여, 다수의 실험에 걸쳐 샘플 상태와 작업 진행 상황을 추적하는 중심 데이터베이스를 유지한다.

Figure 1 : Schematic representation of lab states managed within the AlabOS system. The lab status is divided into four collections: (a) The sample collection tracks the sample’s position and identifies the task reserving that position; (b) the device collection records the status of the device and

실험 결과

연구 질문

• RQ1 어떻게 워크플로우 관리 시스템이 자율 재료 실험실에서 복잡하고 재구성 가능하며 동시 실행 가능한 실험 워크플로우를 지원할 수 있는가?
• RQ2 공유 자원을 가진 이질적인 실험 작업을 안전하고 확장 가능하며 민감하게 조율하기 위해 어떤 아키텍처 패턴이 필요한가?
• RQ3 자율 주행 실험실 환경에서 소프트웨are 프레임워크는 자동화와 인간의 감시 및 간섭 사이에서 어떻게 균형을 이룰 수 있는가?
• RQ4 일반 목적의 플랫폼 독립적 프레임워크는 자율 실험실을 구축하기 위한 개발 오버헤드를 어느 정도 줄일 수 있는가?
• RQ5 실제 자율 실험실 환경에서 모듈러하고 태스크 기반의 워크플로우 엔진은 어떤 성능 및 처리량 메트릭스를 달성할 수 있는가?

주요 결과

• AlabOS는 약 일년간의 기간 동안 프로토타입 자율 실험실에서 2,500건 이상의 고유 샘플을 성공적으로 관리했다.
• 2024년 2월 9일에 하루 최고 처리량 149건을 기록하여 높은 확장성과 효율성을 입증했다.
• 병렬 XRD 및 SEM/EDS 분석, 운영자 알림이 필요한 수동 가열, 시작 태스크를 통한 외부 샘플 처리를 포함한 여러 복잡한 워크플로우를 지원했다.
• 각 태스크 유형 별로 완료된 최대 태스크 수는 1(종료)에서 1,865(복구분말)에 이르며, 고처리량 운영을 효과적으로 처리함을 보여주었다.
• 자원 점유 메커니즘이 동시 실행 태스크 간의 충돌을 효과적으로 방지하여, 병렬 및 의존성 워크플로우의 안전한 실행을 가능케 했다.
• 대시보드 및 알림 시스템은 특히 점검 및 오류 복구 시 인간-기계 협업을 효과적으로 지원하여 시스템 신뢰도를 향상시켰다.

Figure 2 : An architecture diagram for AlabOS. (a) Human operators submit experiments, monitor the laboratory state, and manage user requests. (b) The physical laboratory performs these tasks via manager processes. These include (c) the dashboard server that hosts the user interface and APIs for mon