[论文解读] ChemGymRL: An Interactive Framework for Reinforcement Learning for Digital Chemistry

Chris Beeler, Sriram Ganapathi Subramanian+11 more|arXiv (Cornell University)|May 23, 2023

Innovative Microfluidic and Catalytic Techniques Innovation被引用 4

一句话总结

本文介绍了 ChemGymRL，一个开源且可定制的强化学习（RL）框架，其设计灵感源自真实化学实验室，支持在虚拟化学工作台（如反应、萃取和蒸馏）上训练 RL 代理。结果表明，PPO 和 PPO-XL 代理在多项任务中均达到最优性能，优于 A2C、SAC、TD3 和 DQN，尤其在复杂的合成与纯化流程中表现更优。

ABSTRACT

This paper provides a simulated laboratory for making use of Reinforcement Learning (RL) for chemical discovery. Since RL is fairly data intensive, training agents `on-the-fly' by taking actions in the real world is infeasible and possibly dangerous. Moreover, chemical processing and discovery involves challenges which are not commonly found in RL benchmarks and therefore offer a rich space to work in. We introduce a set of highly customizable and open-source RL environments, ChemGymRL, based on the standard Open AI Gym template. ChemGymRL supports a series of interconnected virtual chemical benches where RL agents can operate and train. The paper introduces and details each of these benches using well-known chemical reactions as illustrative examples, and trains a set of standard RL algorithms in each of these benches. Finally, discussion and comparison of the performances of several standard RL methods are provided in addition to a list of directions for future work as a vision for the further development and usage of ChemGymRL.

研究动机与目标

• 通过提供模拟实验室环境，解决真实化学合成中数据稀缺与安全挑战，以训练 RL 代理。
• 弥合自主实验室与数字化学之间的差距，实现快速、安全且可扩展的 RL 实验。
• 构建一个模块化、可扩展的测试平台，支持多种 RL 范式，如分层强化学习、基于模型的强化学习以及约束强化学习。
• 使研究人员能够基于结构化的奖励机制与状态转移，在逼真的化学过程中训练并基准测试 RL 代理。
• 推动未来实验室管理代理的发展，使其能够协调多个针对特定工作台的代理，共同实现复杂的合成目标。

提出的方法

• 将 ChemGymRL 设计为一组相互关联的、兼容 OpenAI Gym 的环境，用于模拟真实化学实验室工作台：反应（RxN）、萃取（ExT）、蒸馏（DiT）和表征。
• 采用基于容器的状态表示方法，追踪材料与化学状态在各工作台之间的流转，支持顺序处理流程。
• 使用简化的微分方程定义环境动力学，涵盖反应动力学与溶剂蒸发过程，参数可配置。
• 根据目标化合物的摩尔产率或纯化步骤的成功完成情况，分配稀疏且任务特定的奖励。
• 通过模块化、可扩展的代码库，支持标准 RL 算法（PPO、A2C、DQN、SAC、TD3）的训练，配备完整文档与教程。
• 通过建模工作台间物料流动，实现代理在不同工作台间的迁移，模拟真实实验室工作流程。

Figure 1: (a) The ChemGymRL environment. Individual agents operate at each bench, working towards their own goals. The benches pictured are extraction ( ExT ), distillation ( DiT ), and reaction ( RxN ). The user determines which materials the bench agents have access to and what vessels they start

实验结果

研究问题

• RQ1 标准 RL 算法是否能在模拟实验室环境中学习到复杂化学合成与纯化任务的最优策略？
• RQ2 在反应、萃取和蒸馏等不同化学过程中，不同 RL 算法（如 PPO、A2C、DQN）的性能表现如何比较？
• RQ3 RL 代理在初始条件变化（如蒸馏任务中存在杂质，例如盐）的情况下，其泛化能力如何？
• RQ4 RL 代理能否学习到与启发式策略相当或更优的效率与结果质量？
• RQ5 ChemGymRL 框架在支持高级 RL 范式（如课程学习、分层强化学习或逆向强化学习）方面，其可扩展性与适应性如何？

主要发现

• 在 Wurtz 反应实验中，PPO 和 PPO-XL 代理在两项任务中均达到最优回报，显著优于 A2C、SAC、TD3 和 DQN，尤其在具有多个目标的复杂任务中表现更优。
• 在 Wurtz 蒸馏任务中，所有算法的性能均优于随机动作，PPO 达到最高回报，表明其有效学习了溶剂蒸发的控制策略。
• 在 Wurtz 萃取任务中，PPO 超过了启发式基线，而 A2C 和 DQN 未能改善无操作状态下的表现，表明这些算法对任务结构敏感。
• 当蒸馏容器中存在盐时，DQN 代理仍持续学习如同无盐环境下的策略，暴露其无法适应新条件的缺陷。
• 在含盐蒸馏任务中，A2C 和 DQN 代理未因复杂度增加而调整行为，而 PPO 和 PPO-XL 则表现出与启发式策略相似的适应能力。
• 在无盐条件下，所有表现优异的代理（PPO、PPO-XL、A2C、DQN）学习到的策略几乎与启发式策略一致，包括在溶剂蒸发后及时终止。

Figure 2: A visualization of the reaction bench ( RxN ) observation and action space. (a) An example of a UV-Vis spectra that would been seen in an observation and (b) The icons representing each action in RxN .