[论文解读] Bayesian model predictive control: Efficient model exploration and regret bounds using posterior sampling

Kim P. Wabersich, Melanie N. Zeilinger|arXiv (Cornell University)|May 24, 2020

Advanced Control Systems Optimization参考文献 24被引用 9

一句话总结

本文提出了一种贝叶斯模型预测控制（MPC）框架，通过后验抽样来平衡在学习未知系统动态和目标时的探索与利用。通过从最优控制器的后验信念分布中抽样MPC控制器，该方法在保持使用现成MPC求解器的计算效率的同时，实现了有限时间 regret 边界，其有效性在具有噪声反馈的非线性汽车-挂车系统上得到验证。

ABSTRACT

Tight performance specifications in combination with operational constraints make model predictive control (MPC) the method of choice in various industries. As the performance of an MPC controller depends on a sufficiently accurate objective and prediction model of the process, a significant effort in the MPC design procedure is dedicated to modeling and identification. Driven by the increasing amount of available system data and advances in the field of machine learning, data-driven MPC techniques have been developed to facilitate the MPC controller design. While these methods are able to leverage available data, they typically do not provide principled mechanisms to automatically trade off exploitation of available data and exploration to improve and update the objective and prediction model. To this end, we present a learning-based MPC formulation using posterior sampling techniques, which provides finite-time regret bounds on the learning performance while being simple to implement using off-the-shelf MPC software and algorithms. The performance analysis of the method is based on posterior sampling theory and its practical efficiency is illustrated using a numerical example of a highly nonlinear dynamical car-trailer system.

研究动机与目标

• 解决在系统动态和目标不确定时，数据驱动MPC中探索与利用的平衡挑战。
• 开发一种基于学习的MPC控制器，可自动权衡数据利用与信息性数据采集，而无需复杂的随机动态规划。
• 在不确定性下为基于学习的MPC提供理论性能保证，形式为有限时间 regret 边界。
• 通过利用后验抽样技术，使基于标准MPC软件的实用化实现成为可能。

提出的方法

• 在每个周期开始时，从基于当前对系统动态和目标信念的最优控制器后验分布中抽样MPC控制器。
• 使用贝叶斯线性回归对不确定的系统参数进行建模，并利用环境中获取的噪声测量值更新信念。
• 控制器设计中采用软约束和包含松弛变量的代价函数，以处理约束违反问题，从而在学习过程中提升鲁棒性。
• regret 定义为在各周期中，最优控制器性能与所抽样控制器性能之间的累积差异。
• 该方法将汤普森抽样原理整合到MPC中，确保探索由模型参数的不确定性驱动。
• 通过每周期仅进行一次MPC求解，避免迭代或近似动态规划，从而保持标准MPC的计算复杂度。

实验结果

研究问题

• RQ1 在具有状态和输入约束的未知动力系统中，如何有效平衡基于学习的MPC中的探索与利用？
• RQ2 在非线性系统中，MPC中的后验抽样能否在保持计算可处理性的同时提供理论 regret 边界？
• RQ3 过程噪声和测量噪声对所提出的贝叶斯MPC框架学习性能有何影响？
• RQ4 该方法在高度非线性系统中，面对不确定的动力学和目标时，实际表现如何？
• RQ5 regret 边界能否被形式化推导，并证明其与模型不确定性及系统规律性成比例？

主要发现

• 所提出的贝叶斯MPC方法实现了有限时间 regret 边界，其边界大小与过程噪声、测量噪声以及期望代价到目标函数的规律性成比例。
• 在数值示例中，中位数 regret 在前15个学习周期内迅速下降，表明控制性能快速收敛至近似最优。
• regret 边界通过代价函数中的松弛变量包含了累积的期望约束违反，从而提供统一的性能度量。
• 该方法在具有6个状态、2个输入和不确定参数的高度非线性汽车-挂车系统上展示了实际效率，仅使用250个学习周期。
• 理论结果在每周期内状态和目标有界的前提下成立，而MPC固有的约束满足性在实践中可确保该条件。
• 该方法使现成MPC求解器可直接使用，避免了对定制或计算密集型算法的需求。