[论文解读] Preference-based MPC calibration

Mengjia Zhu, Alberto Bemporad+1 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Control Systems Optimization参考文献 28被引用 6

一句话总结

本文提出了一种半自动化的基于偏好的模型预测控制器（MPC）校准方法，用人类成对比较替代了显式的性能指标。利用GLISp算法，该方法从校准者的偏好中迭代学习潜在性能指标的代理函数，在连续搅拌釜反应器（CSTR）和自动驾驶车辆案例研究中仅通过50次实验即实现了近乎最优的MPC调参。

ABSTRACT

Automating the calibration of the parameters of a control policy by means of global optimization requires quantifying a closed-loop performance function. As this can be impractical in many situations, in this paper we suggest a semi-automated calibration approach that requires instead a human calibrator to express a preference on whether a certain control policy is "better" than another one, therefore eliminating the need of an explicit performance index. In particular, we focus our attention on semi-automated calibration of Model Predictive Controllers (MPCs), for which we attempt computing the set of best calibration parameters by employing the recently-developed active preference-based optimization algorithm GLISp. Based on the preferences expressed by the human operator, GLISp learns a surrogate of the underlying closed-loop performance index that the calibrator (unconsciously) uses and proposes, iteratively, a new set of calibration parameters to him or her for testing and for comparison against previous experimental results. The resulting semi-automated calibration procedure is tested on two case studies, showing the capabilities of the approach in achieving near-optimal performance within a limited number of experiments.

研究动机与目标

• 解决当难以或不切实际定义定量性能指标时，MPC参数校准的挑战。
• 实现在校准者无需正式指定闭环性能评分函数的情况下完成校准。
• 通过基于人类偏好的自动化参数选择，减少对专家知识的依赖以及耗时的试错过程。
• 证明基于偏好的优化在真实控制应用中用于MPC调参的可行性和高效性。
• 将无导数全局优化的应用范围扩展至性能具有主观性或多目标特性的控制系统。

提出的方法

• 采用GLISp（基于偏好的GLIS）算法，主动从成对的人类偏好中学习潜在性能指标的代理函数。
• 使用一种平衡探索与利用的获取函数，以最小化所需实验次数。
• 将MPC设计参数表示为向量，包括采样时间、终端代价权重、预测时域和控制输入加权参数。
• 将对数参数范围（如log(q_u11)、log(q_u22)）进行映射，以确保数值稳定性和更广泛的探索。
• 迭代地向校准者展示两组控制器配置进行比较，并在每次偏好反馈后更新代理模型。
• 在预设实验次数（如50次）或收敛后终止过程，返回表现最佳的参数组合。

实验结果

研究问题

• RQ1 当缺乏预定义的定量性能指标时，能否有效完成MPC校准？
• RQ2 像GLISp这样的基于偏好优化算法，能在多大程度上以最少的人类输入高效识别接近最优的MPC参数？
• RQ3 人类主观偏好在多大程度上可以引导具有冲突性能标准的复杂控制系统的校准？
• RQ4 与传统的试错法或完全自动化的优化方法相比，基于偏好的方法在实验次数上表现如何？
• RQ5 该方法能否推广到MPC以外的其他控制器类型，例如PID控制器？

主要发现

• 所提方法在连续搅拌釜反应器（CSTR）上仅通过50次实验即实现了近乎最优的MPC性能，完全消除了对手动定义性能指标的需求。
• 在具备避障功能的自动驾驶车辆控制中，该算法成功基于成对偏好调优MPC参数，优先兼顾实时可行性、安全性与乘客舒适性。
• 车辆案例的最佳MPC参数为：Ts = 0.085 s，εc = 0.310，Np = 16，log(qu11) = 0.261，log(qu22) = 0.918，最坏情况下的计算时间为0.0808 s，确保了实时实现。
• 校准者在试错过程中无法定义一致的定量性能函数，凸显了基于偏好的方法在实际应用中的优势。
• GLISp算法仅通过49次成对比较即实现收敛，证明了其在基于偏好的优化中具有极高的样本效率。
• 最终闭环性能表现出稳定的速度跟踪、最小的侧向偏差以及平滑的转向输入，证实了该方法在平衡相互冲突的控制目标方面的有效性。