[论文解读] Robust-Adaptive Control of Linear Systems: beyond Quadratic Costs

Edouard Leurent, Denis Efimov+1 more|arXiv (Cornell University)|Feb 25, 2020

Advanced Control Systems Optimization参考文献 40被引用 9

一句话总结

本文提出了一种针对具有未知参数的线性系统的鲁棒自适应模型预测控制框架，将成本函数从二次型扩展至一般有界奖励函数。通过结合非渐近线性回归、区间预测和基于树的规划，该方法首次实现了在模型不确定性下对非凸成本的端到端次优性分析，确保了关键控制应用中的安全性和可计算性。

ABSTRACT

We consider the problem of robust and adaptive model predictive control (MPC) of a linear system, with unknown parameters that are learned along the way (adaptive), in a critical setting where failures must be prevented (robust). This problem has been studied from different perspectives by different communities. However, the existing theory deals only with the case of quadratic costs (the LQ problem), which limits applications to stabilisation and tracking tasks only. In order to handle more general (non-convex) costs that naturally arise in many practical problems, we carefully select and bring together several tools from different communities, namely non-asymptotic linear regression, recent results in interval prediction, and tree-based planning. Combining and adapting the theoretical guarantees at each layer is non trivial, and we provide the first end-to-end suboptimality analysis for this setting. Interestingly, our analysis naturally adapts to handle many models and combines with a data-driven robust model selection strategy, which enables to relax the modelling assumptions. Last, we strive to preserve tractability at any stage of the method, that we illustrate on two challenging simulated environments.

研究动机与目标

• 解决现有鲁棒与自适应MPC方法仅限于二次成本（LQ问题）的局限性，这些方法在复杂非凸控制任务中表现不足。
• 在必须防止故障的关键场景中实现安全控制，利用对未知系统参数的先验知识和置信区域。
• 开发一种可计算的、数据驱动的控制框架，结合对模型不确定性的鲁棒性与对学习到的系统动态的自适应性。
• 将理论保证扩展至一般有界奖励函数，支持组合优化和非光滑决策制定的应用。
• 为所提方法在非凸、非光滑奖励函数下的完整次优性分析提供支持，弥补了先前研究的空白。

提出的方法

• 使用非渐近线性回归构建围绕未知系统参数 $\theta$ 的最小二乘估计的置信区域 $\mathcal{C}_{N,\delta}$，确保 $\mathbb{P}(\theta \in \mathcal{C}_{N,\delta}) \geq 1 - \delta$。
• 应用区间预测技术，计算在参数不确定性和有界扰动下系统状态的保证边界 $[\underline{x}(t), \overline{x}(t)]$。
• 通过相似变换对系统进行变换，确保状态矩阵为Metzler矩阵，从而可应用区间预测器算法。
• 采用基于树的规划策略，通过在置信区域和扰动边界内最小化最坏情况下的奖励，计算鲁棒控制策略。
• 使用置信椭球的多面体近似，以高效计算鲁棒控制目标中的最坏情况动态。
• 集成一种数据驱动的鲁棒模型选择策略，在保持理论保证的同时放宽了严格的建模假设。

实验结果

研究问题

• RQ1 能否将鲁棒自适应MPC扩展至处理具有未知参数的线性系统中的一般有界奖励函数，而不仅限于二次成本？
• RQ2 在鲁棒且自适应的控制框架中，如何为非凸成本函数建立理论上的次优性保证？
• RQ3 使用区间预测和多面体置信集对控制策略的可计算性和安全性有何影响？
• RQ4 如何系统性地考虑模型不确定性和参数估计误差，以确保在关键应用中防止故障？
• RQ5 所提方法能否在保持对模型不确定性和非光滑、非凸奖励的鲁棒性的同时，维持计算可处理性？

主要发现

• 本文首次为在非凸、有界奖励函数下鲁棒自适应MPC提供了端到端的次优性分析，提供了理论性能边界。
• 通过构建包含真实参数的高概率置信区域 $\mathcal{C}_{N,\delta}$，该方法实现了鲁棒性，确保了故障避免。
• 区间预测的集成实现了在不确定性下对系统状态的紧密、计算可处理的边界估计，即使在非Metzler矩阵下也适用。
• 置信椭球的多面体近似使得最坏情况动态的高效计算成为可能，支持实际实现。
• 该框架支持数据驱动的模型选择，并放宽了强建模假设，同时不牺牲理论保证。
• 该方法在两个模拟环境中得到验证，展示了在具有非光滑和非凸目标的复杂控制任务中具备鲁棒性和可计算性。