[论文解读] Constrained Model-Free Reinforcement Learning for Process Optimization

Elton Pan, Panagiotis Petsagkourakis+3 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Control Systems Optimization参考文献 57被引用 5

一句话总结

本文提出了一种基于模型的约束Q-learning算法，通过使用Broyden方法调整的自适应后退机制，在随机过程控制中保证了高概率满足联合机会约束。该方法以99%的概率确保约束合规，优于非线性模型预测控制（NMPC）在约束处理方面的表现，同时保持了快速的在线推理速度，适用于安全关键型工业应用。

ABSTRACT

Reinforcement learning (RL) is a control approach that can handle nonlinear stochastic optimal control problems. However, despite the promise exhibited, RL has yet to see marked translation to industrial practice primarily due to its inability to satisfy state constraints. In this work we aim to address this challenge. We propose an 'oracle'-assisted constrained Q-learning algorithm that guarantees the satisfaction of joint chance constraints with a high probability, which is crucial for safety critical tasks. To achieve this, constraint tightening (backoffs) are introduced and adjusted using Broyden's method, hence making them self-tuned. This results in a general methodology that can be imbued into approximate dynamic programming-based algorithms to ensure constraint satisfaction with high probability. Finally, we present case studies that analyze the performance of the proposed approach and compare this algorithm with model predictive control (MPC). The favorable performance of this algorithm signifies a step toward the incorporation of RL into real world optimization and control of engineering systems, where constraints are essential in ensuring safety.

研究动机与目标

• 解决在工业过程优化中模型无关强化学习缺乏约束满足的问题。
• 开发一种方法，确保在非线性、随机系统中以高概率满足联合机会约束。
• 通过实现数据驱动、无需模型的控制并提供安全保证，减少对精确过程模型的依赖。
• 改进NMPC，后者仅在期望下满足约束，在随机不确定性下会失效。
• 通过鲁棒且具备约束感知能力的学习，实现强化学习在安全关键型化工和生化过程中的实际部署。

提出的方法

• 提出一种基于模型的Q-learning框架，通过后退机制实现约束收紧，以限制可行控制空间。
• 应用Broyden方法求解根查找问题，以调节后退参数，确保期望的约束满足概率。
• 使用经验回放以提高样本效率，并在缺乏系统模型的情况下稳定学习过程。
• 采用自适应调节机制，根据观测到的约束违反情况调整后退参数，最小化保守性。
• 实施一种策略，直接从数据中学习，无需了解系统动力学或随机分布的显式信息。
• 通过将计算任务从在线阶段转移到离线阶段，确保以高概率满足约束，从而实现实时推理的快速响应。

Figure 1: The landscape of model free reinforcement learning (RL). Model free RL can be broadly constituted by policy optimization and action-value methods with the intersection of the two characterised by actor-critic methods. The figure does not exhaustively detail the different algorithms, but ra

实验结果

研究问题

• RQ1 能否使模型无关强化学习在随机、非线性过程系统中对状态约束具有鲁棒性？
• RQ2 如何在不事先掌握系统统计信息的情况下，自动调节后退参数以实现高概率约束满足？
• RQ3 在数据驱动控制中，约束满足的可靠性与目标性能之间的权衡是什么？
• RQ4 与NMPC相比，该方法在约束违反概率和计算效率方面表现如何？
• RQ5 该方法能否应用于安全和约束合规至关重要的真实工业过程中？

主要发现

• 在案例研究2中，所提出的基于模型的Q-learning与后退机制将约束违反概率降低至9%，而NMPC的违反概率为66%。
• 在案例研究1中，该方法实现了99%的约束满足概率，显著优于NMPC 66%的违反率。
• 该算法在仅9%违反概率下实现了532的性能目标值，表明其在安全性与性能之间具有有利的权衡。
• 在线推理时间每控制动作为0.03秒，显著快于NMPC的0.4秒，得益于离线学习。
• Broyden方法的应用实现了自适应调节的后退参数，最小化了保守性，同时确保了高概率的约束满足。
• 该方法成功处理了随机系统中的状态约束与安全约束，而NMPC因概率性约束违反而失效。

Figure 2: Schematic representation of RL for chemical process optimization (Adapted from [ 37 ] ).