[論文レビュー] ChemGymRL: An Interactive Framework for Reinforcement Learning for Digital Chemistry

Chris Beeler, Sriram Ganapathi Subramanian+11 more|arXiv (Cornell University)|May 23, 2023

Innovative Microfluidic and Catalytic Techniques Innovation被引用数 4

ひとこと要約

本論文では、現実の化学実験室を模倣したオープンソースでカスタマイズ可能な強化学習（RL）フレームワーク、ChemGymRLを紹介する。このフレームワークにより、反応、抽出、蒸留などの仮想化学ベンチでRLエージェントの訓練が可能になる。PPOおよびPPO-XLエージェントが複数のタスクで最適なパフォーマンスを達成し、A2C、SAC、TD3、DQNを上回っていることが示された。特に、複雑な合成および精製プロトコルにおいて顕著な優位性を示した。

ABSTRACT

This paper provides a simulated laboratory for making use of Reinforcement Learning (RL) for chemical discovery. Since RL is fairly data intensive, training agents `on-the-fly' by taking actions in the real world is infeasible and possibly dangerous. Moreover, chemical processing and discovery involves challenges which are not commonly found in RL benchmarks and therefore offer a rich space to work in. We introduce a set of highly customizable and open-source RL environments, ChemGymRL, based on the standard Open AI Gym template. ChemGymRL supports a series of interconnected virtual chemical benches where RL agents can operate and train. The paper introduces and details each of these benches using well-known chemical reactions as illustrative examples, and trains a set of standard RL algorithms in each of these benches. Finally, discussion and comparison of the performances of several standard RL methods are provided in addition to a list of directions for future work as a vision for the further development and usage of ChemGymRL.

研究の動機と目的

• 現実の化学合成におけるデータ不足と安全性の課題に対処するため、シミュレートされた実験室環境を提供すること。
• 自律型実験室とデジタル化学の間のギャップを埋め、迅速で安全かつスケーラブルなRL実験を可能にすること。
• 階層的、モデルベース、制約付きRLを含む多様なRLパラダイムをサポートするモジュラーかつ拡張可能なテストベッドを構築すること。
• 構造化された報酬と状態遷移を用いて、現実的な化学プロセスにおけるRLエージェントの訓練とベンチマークを可能にすること。
• 複雑な合成目標を達成するために、複数のベンチ固有のエージェントを調整するラボマネージャーエージェントの今後の開発を促進すること。

提案手法

• 実際の化学実験室のベンチを模倣した、OpenAI Gym互換の複数の連携環境としてChemGymRLを設計する。反応（RxN）、抽出（ExT）、蒸留（DiT）、および定性分析を対象とする。
• 容器ベースの状態表現を実装し、物質と化学的状態を複数のベンチに跨って追跡することで、順次処理を可能にする。
• 反応速度と溶媒蒸発の簡略化された微分方程式を用いて環境のダイナミクスを定義し、パラメータをカスタマイズ可能に設定する。
• タスク固有のスパarsな報酬を設定し、生成物のモル収率や精製ステップの成功を基準とする。
• PPO、A2C、DQN、SAC、TD3といった標準的なRLアルゴリズムの訓練を、完全なドキュメンテーションとチュートリアルを備えたモジュラーで拡張可能なコードベースでサポートする。
• 実際の実験フローを模倣するために、ベンチ間の物質移動をモデル化することで、エージェントのベンチ間移行を可能にする。

Figure 1: (a) The ChemGymRL environment. Individual agents operate at each bench, working towards their own goals. The benches pictured are extraction ( ExT ), distillation ( DiT ), and reaction ( RxN ). The user determines which materials the bench agents have access to and what vessels they start

実験結果

リサーチクエスチョン

• RQ1 標準的なRLアルゴリズムは、シミュレートされた実験室環境において、複雑な化学合成および精製タスクの最適ポリシーを学習できるか？
• RQ2 反応、抽出、蒸留といった異なる化学プロセスにおいて、PPO、A2C、DQNなどの異なるRLアルゴリズムのパフォーマンスはどのように比較できるか？
• RQ3 初期条件の変化、例えば蒸留タスクにおける不純物（例：塩）の存在に対して、RLエージェントはどの程度一般化できるか？
• RQ4 エージェントは、能率性と結果の質において、ヒューリスティック戦略と同等またはそれを上回る行動を学習できるか？
• RQ5 ChemGymRLフレームワークは、カリキュラム学習、階層的RL、逆強化学習といった高度なRLパラダイムをどの程度拡張可能で適応可能にサポートできるか？

主な発見

• PPOおよびPPO-XLエージェントは、Wurtz反応実験において最適な報酬を達成し、A2C、SAC、TD3、DQNを上回った。特に、複数の生成物を含む複雑なタスクで顕著な優位性を示した。
• Wurtz蒸留タスクでは、すべてのアルゴリズムがランダム行動を上回ったが、PPOが最も高い報酬を達成し、溶媒蒸発制御の有効な学習が行われたことが示された。
• Wurtz抽出タスクでは、PPOがヒューリスティックベースラインを上回ったが、A2CおよびDQNは行動を改善できず、無行動状態のままに留まった。これは、アルゴリズムがタスク構造に対して感受性を示していることを示している。
• 蒸留容器に塩が存在する状況では、DQNエージェントは塩が存在しないものとして学習を継続し、新たな状況に適応できなかった。
• 塩が存在する蒸留タスクにおいて、A2CおよびDQNエージェントは追加の複雑さにもかかわらず行動を変更しなかったが、PPOおよびPPO-XLはヒューリスティックポリシーと同様に適応した。
• 塩が存在しない状況では、上位パフォーマンスを示したすべてのエージェント（PPO、PPO-XL、A2C、DQN）が、溶媒蒸発後の適切な終了タイミングを含むヒューリスティックとほぼ同一のポリシーを学習した。

Figure 2: A visualization of the reaction bench ( RxN ) observation and action space. (a) An example of a UV-Vis spectra that would been seen in an observation and (b) The icons representing each action in RxN .