[论文解读] Flowsheet synthesis through hierarchical reinforcement learning and graph neural networks

Laura Stops, Roel J. Leenhouts+2 more|arXiv (Cornell University)|Jul 25, 2022

Fuel Cells and Related Materials参考文献 62被引用 11

一句话总结

该论文提出了一种分层强化学习（RL）智能体，通过将化学过程流程图表示为图结构，并利用图神经网络（GNNs）处理状态并指导决策，实现流程图的合成。该方法在离散、连续及混合动作空间中均实现了高效学习，在甲基乙酸酯生产案例研究中成功生成了经济可行的流程图，且奖励收敛稳定。

ABSTRACT

Process synthesis experiences a disruptive transformation accelerated by digitization and artificial intelligence. We propose a reinforcement learning algorithm for chemical process design based on a state-of-the-art actor-critic logic. Our proposed algorithm represents chemical processes as graphs and uses graph convolutional neural networks to learn from process graphs. In particular, the graph neural networks are implemented within the agent architecture to process the states and make decisions. Moreover, we implement a hierarchical and hybrid decision-making process to generate flowsheets, where unit operations are placed iteratively as discrete decisions and corresponding design variables are selected as continuous decisions. We demonstrate the potential of our method to design economically viable flowsheets in an illustrative case study comprising equilibrium reactions, azeotropic separation, and recycles. The results show quick learning in discrete, continuous, and hybrid action spaces. Due to the flexible architecture of the proposed reinforcement learning agent, the method is predestined to include large action-state spaces and an interface to process simulators in future research.

研究动机与目标

• 解决在复杂、多变量环境中自动化化学过程合成的挑战。
• 开发一种强化学习智能体，能够以分层方式处理离散（单元操作选择）和连续（设计变量）决策。
• 将流程图表示为图结构，以利用图神经网络捕捉拓扑信息。
• 通过解耦智能体架构的组件，实现可扩展且灵活的过程设计。
• 展示基于人工智能的流程图合成在经济可行性和奖励收敛稳定性方面的可行性。

提出的方法

• RL智能体采用分层架构，先由高层决策选择位置和单元操作，再由低层决策选择设计变量。
• 流程图被编码为有向图，其中节点表示单元操作，边表示物料流，从而实现结构信息的捕获。
• 将图卷积神经网络（GCNs）集成到策略网络中，用于处理图结构状态并指导动作选择。
• 动作空间为混合型：离散动作包括选择单元操作和布置位置；连续动作涉及设置设计变量，如转化率或操作条件。
• 采用近端策略优化（PPO）算法训练智能体，奖励函数基于资本和运行成本估算经济性能。
• 该架构支持单元操作和设计变量的动态扩展，便于未来与流程模拟器集成。

实验结果

研究问题

• RQ1 分层RL智能体是否能有效利用图结构表示，合成化学上有意义且经济可行的流程图？
• RQ2 将图神经网络与强化学习结合，是否能有效支持涉及离散与连续决策的复杂混合动作空间中的学习？
• RQ3 所提出的方法在离散、连续及混合决策阶段是否能实现稳定且快速的奖励学习收敛？
• RQ4 基于图的表示在多大程度上能够保留对过程合成至关重要的结构与拓扑信息？
• RQ5 该智能体架构在扩展至更大规模过程系统以及与高精度流程模拟器集成方面，其可扩展性如何？

主要发现

• 所提出的RL智能体在甲基乙酸酯生产案例研究中，于离散、连续及混合动作空间中均实现了陡峭且稳定的学习曲线。
• 该方法通过端到端训练成功生成了经济可行的流程图，证明了人工智能驱动流程图合成的可行性。
• 图表示实现了对过程拓扑的有效编码，使GNN能够从结构特征中学习有意义的状态表示。
• 分层设计实现了决策的解耦与模块化，提升了智能体的可解释性与可扩展性。
• 尽管奖励函数仅为估算值，但仍能有效支持训练与收敛，表明通过奖励塑造可进一步优化。
• 该灵活的架构已为未来与流程模拟器集成以及扩展至更大、更复杂系统奠定了基础。