[论文解读] MPC Controller Tuning using Bayesian Optimization Techniques

Qiugang Lu, Ranjeet Kumar+1 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Control Systems Optimization参考文献 19被引用 25

一句话总结

本文提出一种贝叶斯优化（BO）框架，以高效调校暖通空调（HVAC）系统中模型预测控制（MPC）的参数，将闭环性能视为黑箱函数。通过战略性地平衡探索与利用，BO将所需全年闭环仿真次数从网格搜索的数百次减少至仅13次，通过优化蓄热罐的回退项，实现更低的闭环成本。

ABSTRACT

We present a Bayesian optimization (BO) framework for tuning model predictive controllers (MPC) of central heating, ventilation, and air conditioning (HVAC) plants. This approach treats the functional relationship between the closed-loop performance of MPC and its tuning parameters as a black-box. The approach is motivated by the observation that evaluating the closed-loop performance of MPC by trial-and-error is time-consuming (e.g., every closed-loop simulation can involve solving thousands of optimization problems). The proposed BO framework seeks to quickly identify the optimal tuning parameters by strategically exploring and exploiting the space of the tuning parameters. The effectiveness of the BO framework is demonstrated by using an MPC controller for a central HVAC plant using realistic data. Here, the BO framework tunes back-off terms for thermal storage tanks to minimize year-long closed-loop costs. Simulation results show that BO can find the optimal back-off terms by conducting 13 year-long simulations, which significantly reduces the computational burden of a naive grid search. We also find that the back-off terms obtained with BO reduce the closed-loop costs.

研究动机与目标

• 解决通过试错法或网格搜索调校HVAC系统MPC控制器所导致的高计算成本问题。
• 减少为识别最优MPC调校参数所需进行的昂贵全年闭环仿真次数。
• 通过优化蓄热罐的回退项，改善经济性能。
• 展示贝叶斯优化在处理黑箱、计算密集型MPC调校问题中的有效性。
• 提供一种系统化、数据驱动的替代方案，以取代启发式或人工调校方法。

提出的方法

• 将MPC调校问题建模为黑箱优化问题，其中目标函数 f(ξ) 表示闭环成本，ξ 代表调校参数（如回退项）。
• 采用高斯过程（GP）代理模型近似未知目标函数，使用具有超参数 l=1、ν=5/2、σ²=1e−6 的马尔可夫5/2核。
• 使用置信上界（UCB）获取函数（κ=2.6）在优化过程中平衡探索与利用。
• 在迭代过程中，以 n=3 个初始仿真点启动BO流程，随后依次选择使获取函数最大化的新采样位置。
• 在每次迭代中，使用 L-BFGS 算法求解获取函数最大化子问题。
• 通过基于81次先前仿真生成的合成目标表面验证该方法，模拟真实成本景观，而无需进行完整的闭环评估。

实验结果

研究问题

• RQ1 贝叶斯优化能否显著减少调校HVAC系统MPC控制器所需的闭环仿真次数？
• RQ2 与网格搜索或启发式方法相比，BO在识别蓄热罐最优回退项方面效果如何？
• RQ3 使用具有UCB获取函数的代理GP模型是否能提升MPC调校中的收敛速度与解质量？
• RQ4 在HVAC MPC控制器非凸调校参数空间中，BO在多大程度上避免了局部极小值？
• RQ5 通过最优回退参数调校，BO能否在全年HVAC运行中实现显著的成本降低？

主要发现

• 贝叶斯优化仅通过13次闭环仿真即识别出最优回退项，与需81次仿真的粗粒度网格搜索相比，实现显著减少。
• 经BO优化的回退项在所有周次中均一致降低了每周HVAC运行成本，其中8月下旬的节省最为显著。
• 算法在初始探索阶段后10次迭代内收敛至全局最小值，表现出快速且稳定的收敛性。
• 在全局最优附近，获取函数值保持较低，而在局部极小值附近则保持较高，表明BO能有效避开次优区域。
• GP模型的后验均值快速稳定，证实了代理建模的可靠性及优化过程的收敛性。
• 结果表明，BO可通过极少的仿真努力识别最优MPC调校参数，实现显著的经济节约。