[论文解读] Deep reinforcement learning for process design: Review and perspective

Qinghe Gao, Artur M. Schweidtmann|arXiv (Cornell University)|Aug 15, 2023

Process Optimization and IntegrationEngineering被引用 3

一句话总结

本文综述了深度强化学习（DRL）在化学工程可持续概念过程设计中的应用，提出了一种无需超结构的新型方法，通过与过程模拟器交互，实现对工艺流程拓扑的顺序性、目标导向设计。文章识别了信息表示、智能体架构和奖励设计中的关键挑战，并展望了未来在约束集成、多保真度模型、多目标优化、分子设计及过程控制方面的发展方向。

ABSTRACT

The transformation towards renewable energy and feedstock supply in the chemical industry requires new conceptual process design approaches. Recently, breakthroughs in artificial intelligence offer opportunities to accelerate this transition. Specifically, deep reinforcement learning, a subclass of machine learning, has shown the potential to solve complex decision-making problems and aid sustainable process design. We survey state-of-the-art research in reinforcement learning for process design through three major elements: (i) information representation, (ii) agent architecture, and (iii) environment and reward. Moreover, we discuss perspectives on underlying challenges and promising future works to unfold the full potential of reinforcement learning for process design in chemical engineering.

研究动机与目标

• 综述深度强化学习（DRL）在化学工程概念过程设计中的最新应用。
• 识别在DRL用于过程设计时，信息表示、智能体架构以及环境/奖励设计中的关键挑战。
• 提出未来研究方向，以增强DRL框架，包括约束处理、多保真度建模、多目标优化，以及与分子和过程控制设计的集成。
• 通过实现自动化、高效且最优的过程合成，支持向可持续、基于可再生资源的化学过程转型。
• 通过数据驱动、交互式的DRL框架，克服传统超结构优化和基于启发式方法的局限性。

提出的方法

• 将过程设计建模为马尔可夫决策过程（MDP），其中状态表示流程图拓扑、设计/操作变量及热力学数据。
• 采用混合动作空间，结合离散选择（如单元操作类型、物流选择）和连续变量（如反应器长度、流量）。
• 使用演员-critic算法（如SAC，软演员-评论家）进行策略学习，实现在高维动作空间中的稳定训练。
• 将过程模拟器（如COCO）作为环境，用于模拟流程图并根据性能目标返回数值奖励。
• 提出基于现有标准（如CAPE-OPEN和DEXPI+）的标准化模拟接口，以提升不同模拟软件之间的互操作性。
• 建议采用多保真度训练策略，即在低保真度模型上预训练智能体，再在高保真度模拟器上微调，以减少训练时间并提高收敛性。

实验结果

研究问题

• RQ1 如何在无超结构的前提下，有效应用深度强化学习于化学工程的概念过程设计？
• RQ2 在DRL用于过程设计时，信息表示、智能体架构和奖励函数设计中的关键挑战是什么？
• RQ3 如何在基于DRL的过程设计框架中有效实施安全和操作限制等约束？
• RQ4 多保真度过程模型在加速DRL训练和提升泛化能力方面发挥什么作用？
• RQ5 如何扩展DRL框架，以实现分子设计与过程控制的集成，从而实现整体性、可持续的过程合成？

主要发现

• DRL通过与过程模拟器交互学习最优策略，实现了无需超结构的顺序化过程设计，避免了对所有备选方案进行人工枚举的需要。
• 当前用于过程设计的DRL框架技术成熟度为3–4级，表明仍处于早期研究阶段，虽具潜力但泛化能力有限。
• 结合离散与连续动作的混合动作空间对于建模涉及单元操作选择、拓扑变更和参数设定的真实设计决策至关重要。
• 需要基于CAPE-OPEN或DEXPI+等标准的标准化模拟接口，以减少冗余并提升不同过程模拟软件之间的互操作性。
• 多保真度训练策略——即在低保真度模型上预训练并在高保真度模型上微调——可显著缩短训练时间并提升收敛性。
• 未来实现多目标奖励、约束感知评论家，以及分子与过程的协同设计，对于实现可持续且稳健的过程设计至关重要。