[论文解读] AlabOS: A Python-based Reconfigurable Workflow Management Framework for Autonomous Laboratories

Yuxing Fei, Bernardus Rendy+11 more|arXiv (Cornell University)|May 22, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

AlabOS 是一个基于 Python 的可重构工作流管理框架，专为自主实验室设计，支持材料研究中灵活、模块化和并发的实验工作流执行。它支持复杂的任务依赖关系、并行处理和动态重构，并在原型实验室中成功协调了超过 2,500 个样品的实验，单日最高吞吐量达到 149 个样品。

ABSTRACT

The recent advent of autonomous laboratories, coupled with algorithms for high-throughput screening and active learning, promises to accelerate materials discovery and innovation. As these autonomous systems grow in complexity, the demand for robust and efficient workflow management software becomes increasingly critical. In this paper, we introduce AlabOS, a general-purpose software framework for orchestrating experiments and managing resources, with an emphasis on automated laboratories for materials synthesis and characterization. AlabOS features a reconfigurable experiment workflow model and a resource reservation mechanism, enabling the simultaneous execution of varied workflows composed of modular tasks while eliminating conflicts between tasks. To showcase its capability, we demonstrate the implementation of AlabOS in a prototype autonomous materials laboratory, A-Lab, with around 3,500 samples synthesized over 1.5 years.

研究动机与目标

• 为应对自主实验室在材料研究中对灵活、可扩展且稳健的工作流管理日益增长的需求。
• 克服现有框架强制采用刚性、顺序式工作流且缺乏对复杂依赖关系和并行执行支持的局限性。
• 使研究人员能够以最小的底层编程工作，定义并执行多样化、可重构的实验工作流。
• 支持物理硬件、数据管理与人机协同操作在自动驾驶实验室中的无缝集成。
• 提供一种平台无关、用户友好的系统，可扩展至高通量、多样品的实验活动。

提出的方法

• AlabOS 采用基于任务的、面向演员（actor-model）的架构，将每个实验操作封装为具有明确定义的输入、输出和资源需求的独立任务单元。
• 它实现了资源占用机制，以防止并发任务之间的冲突，确保共享实验资源的安全高效调度。
• 该框架提供高层级的 Python API 用于定义工作流，使用户无需底层系统编程即可组合复杂的树状或并行任务序列。
• 系统包含一个仪表板和通知系统，支持实时监控与人机交互，尤其在维护和错误恢复期间具有重要意义。
• 工作流通过模块化、可扩展的设计进行管理，支持动态重构，并同时支持自动化与人工干预节点。
• 系统与硬件控制器和数据存储集成，通过集中式数据库跟踪多个实验中样品状态和任务进度。

Figure 1 : Schematic representation of lab states managed within the AlabOS system. The lab status is divided into four collections: (a) The sample collection tracks the sample’s position and identifies the task reserving that position; (b) the device collection records the status of the device and

实验结果

研究问题

• RQ1 工作流管理框架如何支持自主材料实验室中复杂、可重构且并发的实验工作流？
• RQ2 何种架构模式能够实现对具有共享资源的异构实验任务的安全、可扩展且灵活的编排？
• RQ3 软件框架在自动驾驶实验室环境中如何在自动化与人工监督及干预之间实现平衡？
• RQ4 通用的、平台无关的框架在多大程度上可降低构建自主实验室的开发开销？
• RQ5 在真实世界自主实验室环境中，基于模块化、任务驱动的工作流引擎可实现怎样的性能与吞吐量指标？

主要发现

• AlabOS 在约一年的时间内成功管理了原型自主实验室内超过 2,500 个不同样品的实验执行。
• 该系统在 2024 年 2 月 9 日达到单日最高吞吐量 149 个样品，展现出高度的可扩展性和效率。
• 该框架支持多种复杂工作流，包括并行的 XRD 和 SEM/EDS 分析、需操作员通知的手动加热，以及通过“Starting”任务实现的外部样品处理。
• 各类任务类型的完成任务最大数量范围从 1（Ending）到 1,865（RecoverPowder），表明其对高负载操作具有强大的处理能力。
• 资源占用机制有效防止了并发任务之间的冲突，确保了并行和依赖工作流的安全执行。
• 仪表板和通知系统实现了高效的人机协作，尤其在维护和错误恢复期间，显著提升了系统的可靠性。

Figure 2 : An architecture diagram for AlabOS. (a) Human operators submit experiments, monitor the laboratory state, and manage user requests. (b) The physical laboratory performs these tasks via manager processes. These include (c) the dashboard server that hosts the user interface and APIs for mon