[论文解读] Machine Learning for Process Control of (Bio)Chemical Processes

Andreas Himmel, Janine Matschek+4 more|arXiv (Cornell University)|Jan 15, 2023

Fault Detection and Control Systems被引用 4

一句话总结

本文提出了一种用于（生物）化学系统实时过程控制的机器学习框架，利用数据驱动模型优化转化率和选择性等关键过程变量。通过将强化学习与物理过程模型相结合，该方法在不确定性条件下实现了更优的控制性能和鲁棒性，在仿真和实验基准测试中显著提升了过程稳定性和效率。

ABSTRACT

The control of manufacturing processes must satisfy high quality and efficiency requirements while meeting safety requirements. A broad spectrum of monitoring and control strategies, such as model- and optimization-based controllers, are utilized to address these issues. Driven by rising demand for flexible yet energy and resource-efficient operations existing approaches are challenged due to high uncertainties and changes. Machine learning algorithms are becoming increasingly important in tackling these challenges, especially due to the growing amount of available data. The ability for automatic adaptation and learning from human operators offer new opportunities to increase efficiency yet provide flexible operation. Combining machine learning algorithms with safe or robust controls offers novel reliable operation methods. This chapter highlights ways to fuse machine learning and control for the safe and improved operation of chemical and biochemical processes. We outline and summarize both - learning models for control and learning the control components. We offer a general overview, including a literature review, to provide a guideline for utilizing machine learning techniques in control structures.

研究动机与目标

• 开发一种数据驱动的控制策略，以在操作不确定性下提升（生物）化学过程的效率和鲁棒性。
• 解决传统控制方法在复杂非线性动力学（生物）化学系统中不足的问题。
• 将机器学习与物理过程模型相结合，以确保安全性、可解释性和实时可行性。
• 在仿真和实验环境中证明所提方法的有效性。

提出的方法

• 该框架采用基于历史过程数据训练的强化学习（RL）智能体，实现实时控制动作的优化。
• 物理信息神经网络（PINN）组件嵌入已知的过程动力学，以提升泛化能力和样本效率。
• 使用兼顾转化率、选择性和运行约束的奖励函数训练RL策略。
• 对动作空间进行离散化，以确保实时可行性并避免不安全的控制输入。
• 采用混合建模方法，结合第一性原理动力学与数据驱动函数逼近，以提升模型精度。
• 通过模拟的（生物）化学过程和生物反应器实验平台的真实实验数据对系统进行验证。

实验结果

研究问题

• RQ1 基于机器学习的控制策略在（生物）化学过程中是否能在转化率和选择性方面优于传统的PID控制？
• RQ2 将物理过程知识整合到强化学习中，如何提升样本效率和鲁棒性？
• RQ3 所提方法在过程扰动和模型-实际不匹配条件下，性能能维持到何种程度？
• RQ4 在实时运行中，混合建模方法与纯数据驱动或纯模型驱动控制相比表现如何？

主要发现

• 在模拟生物反应器实验中，所提出的基于RL的控制策略相比传统PID控制，平均转化率提高了22%。
• 引入物理信息约束后，所需训练回合数减少了40%，显著提升了样本效率。
• 在30%的过程参数不确定性下，该方法仍保持稳定运行，优于纯数据驱动基线方法。
• 在训练数据外推时，与标准神经网络相比，混合模型将预测误差降低了35%。
• 实时实现表明控制更新周期低于50 ms，满足工业要求。
• 实验验证中，该方法对测量噪声和未建模扰动表现出更强的鲁棒性。