[논문 리뷰] ChemGymRL: An Interactive Framework for Reinforcement Learning for Digital Chemistry

Chris Beeler, Sriram Ganapathi Subramanian외 11명|arXiv (Cornell University)|2023. 05. 23.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 4

한 줄 요약

이 논문은 실제 화학 실험실을 모델로 삼아 구축된 오픈소스이자 사용자 정의가 가능한 강화학습(RL) 프레임워크인 ChemGymRL을 소개한다. 이 프레임워크를 통해 반응, 추출, 증류와 같은 가상의 화학 벤치에서 RL 에이전트를 훈련시킬 수 있으며, PPO와 PPO-XL 에이전트가 반복적으로 최적의 성능을 보이며 A2C, SAC, TD3, DQN을 뛰어넘는 것으로 나타났다. 특히 복잡한 합성 및 정제 워크플로우에서 뛰어난 성능을 보였다.

ABSTRACT

This paper provides a simulated laboratory for making use of Reinforcement Learning (RL) for chemical discovery. Since RL is fairly data intensive, training agents `on-the-fly' by taking actions in the real world is infeasible and possibly dangerous. Moreover, chemical processing and discovery involves challenges which are not commonly found in RL benchmarks and therefore offer a rich space to work in. We introduce a set of highly customizable and open-source RL environments, ChemGymRL, based on the standard Open AI Gym template. ChemGymRL supports a series of interconnected virtual chemical benches where RL agents can operate and train. The paper introduces and details each of these benches using well-known chemical reactions as illustrative examples, and trains a set of standard RL algorithms in each of these benches. Finally, discussion and comparison of the performances of several standard RL methods are provided in addition to a list of directions for future work as a vision for the further development and usage of ChemGymRL.

연구 동기 및 목표

• 실제 화학 합성에 대한 RL 에이전트 훈련 시 데이터 부족성과 안전성 문제를 해결하기 위해 시뮬레이션된 실험실 환경을 제공함으로써.
• 자율 실험실과 디지털 화학 간 격차를 해소하여 빠르고 안전하며 확장 가능한 RL 실험을 가능하게 함으로써.
• 히어archical, 모델 기반, 제약 조건이 있는 RL과 같은 다양한 RL 철학을 지원하는 모듈러하고 확장 가능한 테스트베드를 구축함으로써.
• 구조화된 보상과 상태 전이를 갖춘 실제 화학 과정에서 연구자들이 RL 에이전트를 훈련하고 성능을 비교 평가할 수 있도록 함으로써.
• 복잡한 합성 목표를 향해 다수의 벤치별 에이전트를 조율하는 랩 매니저 에이전트의 향후 개발을 촉진함으로써.

제안 방법

• 반응(RxN), 추출(ExT), 증류(DiT), 특성 분석을 시뮬레이션하는 실질적인 화학 실험실 벤치를 모델로 삼은 상호 연결된 OpenAI Gym 호환 환경으로 ChemGymRL을 설계함.
• 물질과 화학 상태를 벤치 전반에서 추적할 수 있도록 배치 기반 상태 표현을 구현함으로써 순차적 처리를 가능하게 함.
• 반응 동역학과 용매 증발에 대해 단순화된 미분 방정식을 사용하여 환경의 동역학을 정의하고, 설정 가능한 파라미터를 제공함.
• 목표 화합물의 몰 수율 또는 정제 단계의 성공적 완료에 기반한 희박한, 작업별 보상 할당.
• 모듈러하고 확장 가능한 코드베이스를 통해 표준 RL 알고리즘(PPO, A2C, DQN, SAC, TD3)의 훈련을 지원하며, 완전한 문서화와 튜토리얼 제공.
• 실제 실험실 워크플로우를 모방하기 위해 벤치 간 물질 유동을 모델링함으로써 에이전트의 벤치 간 이동을 가능하게 함.

Figure 1: (a) The ChemGymRL environment. Individual agents operate at each bench, working towards their own goals. The benches pictured are extraction ( ExT ), distillation ( DiT ), and reaction ( RxN ). The user determines which materials the bench agents have access to and what vessels they start

실험 결과

연구 질문

• RQ1 표준 RL 알고리즘은 시뮬레이션된 실험실 환경에서 복잡한 화학 합성 및 정제 작업에 대해 최적의 정책을 학습할 수 있는가?
• RQ2 반응, 추출, 증류와 같은 다른 화학 과정에서 PPO, A2C, DQN 등의 다양한 RL 알고리즘이 성능 면에서 어떻게 비교되는가?
• RQ3 예를 들어 증류 과업에서 염이 존재하는 경우와 같은 초기 조건의 변화에 대해 RL 에이전트가 얼마나 일반화할 수 있는가?
• RQ4 효율성과 결과 품질 면에서 히어스틱 전략을 모방하거나 초월하는 행동을 RL 에이전트가 학습할 수 있는가?
• RQ5 ChemGymRL 프레임워크는 커리큘럼 학습, 히어archical RL, 또는 인버스 RL과 같은 고급 RL 철학을 지원하기 위해 얼마나 확장 가능하고 적응 가능한가?

주요 결과

• PPO와 PPO-XL 에이전트는 Wurtz 반응 실험 전반에서 최적의 수익을 달성하였으며, 특히 다중 목표를 포함한 복잡한 작업에서 A2C, SAC, TD3, DQN을 뛰어넘는 성능을 보였다.
• Wurtz 증류 과업에서는 모든 알고리즘이 무작위 행동보다 뛰어난 성능을 보였고, PPO가 가장 높은 수익을 기록하여 용매 증발 제어에 효과적으로 학습한 것으로 나타났다.
• Wurtz 추출 과업에서는 PPO가 히어스틱 기준을 초월하였고, A2C와 DQN은 정지 상태에서의 성능 향상이 없었으며, 이는 알고리즘의 과제 구조에 대한 민감성의 증거로 나타났다.
• 증류 용기 내에 염이 존재할 경우, DQN 에이전트는 염이 존재하지 않는 것처럼 행동하는 정책을 계속 학습하며, 새로운 조건에 적응하지 못하는 것으로 나타났다.
• 염이 존재하는 증류 과업에서 A2C와 DQN 에이전트는 추가적인 복잡성에도 불구하고 행동을 수정하지 않았지만, PPO와 PPO-XL은 히어스틱 정책과 유사하게 적응하는 것으로 나타났다.
• 염이 존재하지 않을 경우, 최고 성능을 보인 모든 에이전트(PPO, PPO-XL, A2C, DQN)는 용매 증발 후 적절한 시점에 종료하는 정책을 거의 동일하게 학습하였다.

Figure 2: A visualization of the reaction bench ( RxN ) observation and action space. (a) An example of a UV-Vis spectra that would been seen in an observation and (b) The icons representing each action in RxN .