[论文解读] Deep Reinforcement Learning for Process Synthesis

Laurence Illing Midgley|arXiv (Cornell University)|Sep 23, 2020

Process Optimization and Integration参考文献 8被引用 4

一句话总结

本文提出了蒸馏体感（Distillation Gym），一个强化学习环境，使深度强化学习智能体能够通过与流程模拟器（COCO 和 ChemSep）接口，设计多组分分离的蒸馏流程。采用软演员-critic（SAC）算法，智能体成功学习到针对苯-甲苯-对二甲苯和烃类分离问题的高回收率、高利润设计方案，证明了将流程合成问题转化为强化学习任务的可行性，并提出了化学工程体感（Chemical Engineering Gym）作为通用工具包以拓展至更广泛的应用。

ABSTRACT

This paper demonstrates the application of reinforcement learning (RL) to process synthesis by presenting Distillation Gym, a set of RL environments in which an RL agent is tasked with designing a distillation train, given a user defined multi-component feed stream. Distillation Gym interfaces with a process simulator (COCO and ChemSep) to simulate the environment. A demonstration of two distillation problem examples are discussed in this paper (a Benzene, Toluene, P-xylene separation problem and a hydrocarbon separation problem), in which a deep RL agent is successfully able to learn within Distillation Gym to produce reasonable designs. Finally, this paper proposes the creation of Chemical Engineering Gym, an all-purpose reinforcement learning software toolkit for chemical engineering process synthesis.

研究动机与目标

• 证明通过将蒸馏流程设计建模为序列决策问题，可有效应用强化学习于流程合成。
• 开发一个功能完整的强化学习环境（Distillation Gym），与流程模拟器（COCO 和 ChemSep）接口，以支持基于仿真的训练。
• 在真实世界的分离问题（苯-甲苯-对二甲苯和烃类混合物）上验证该方法，展示智能体学习高利润、高回收率设计方案的能力。
• 提出化学工程体感（Chemical Engineering Gym）作为化学工程流程合成的通用强化学习工具包，不仅限于蒸馏，还涵盖多种单元操作和流程拓扑。
• 倡导从传统优化框架（参数调优）向决策序列框架（将流程合成视为动作序列）转变，以实现更开放、更具创新性的设计探索。

提出的方法

• 该环境被建模为马尔可夫决策过程（MDP），其中智能体观察状态（进料组成、操作条件），选择动作（塔配置、分流比），并根据产品纯度、回收率和收益获得奖励。
• 智能体采用软演员-critic（SAC）算法，一种结合策略-值函数架构与熵正则化的深度强化学习算法，以平衡探索与利用，提升样本效率与训练稳定性。
• Critic 网络采用双 Q 网络结构，结合目标网络与软更新机制，以稳定训练过程，最小化经验回放缓冲区中的贝尔曼误差。
• Actor 网络使用重参数化技巧，实现可微分的策略优化，支持通过噪声嵌入动作进行梯度驱动的策略网络更新。
• 该环境与 COCO 和 ChemSep 模拟器集成，每次动作后计算流程性能（分离效果、能耗、成本），提供准确的状态转移与奖励信号。
• 问题规格由用户定义，包括组分属性、进料流条件、产品纯度目标及市场价格，支持灵活且可泛化的任务实例化。

实验结果

研究问题

• RQ1 深度强化学习能否通过将蒸馏流程设计建模为序列决策问题，有效解决流程合成问题？
• RQ2 强化学习智能体在无先验优化或启发式规则的情况下，能在多大程度上学习生成高回收率、高利润的蒸馏配置？
• RQ3 将流程模拟器（COCO/ChemSep）与强化学习智能体集成，如何在训练过程中实现准确且真实的性能评估？
• RQ4 在复杂的多组分分离中，强化学习智能体能够学习平衡哪些关键设计权衡（如回收率 vs. 成本）？
• RQ5 基于强化学习的方法能否超越蒸馏，推广至其他单元操作和流程拓扑？支持此类可扩展性的基础设施应具备哪些特征？

主要发现

• 深度强化学习智能体成功学习到苯-甲苯-对二甲苯（BTX）分离问题的蒸馏流程设计，苯回收率达 98.2%，甲苯达 99.7%，对二甲苯超过 99.9%，总收益达 0.45 百万美元。
• 在烃类分离问题中，智能体实现高回收率：丙烷 98.9%，异丁烷 97.3%，正丁烷 91.1%，异戊烷 99.6%，正戊烷 97.0%，总收益达 15.88 亿美元。
• 智能体在 BTX 问题中最佳设计为单块流程图，包含一个阀门-蒸馏塔对，展现出结构简洁性与可行性。
• 智能体在多次训练运行中表现稳定，表明在 Distillation Gym 环境中采用 SAC 算法具有稳健的学习动态。
• 结果验证了强化学习可在不依赖预设启发式规则或基于 MINLP 的优化方法的前提下，发现复杂且高利润的流程配置。
• 作者总结认为，将流程合成建模为一系列决策，而非参数优化，可实现更灵活、更具创新性的设计空间探索，尤其当扩展至化学工程体感等更广泛工具包时更具潜力。