[论文解读] Online Optimal Control with Linear Dynamics and Predictions: Algorithms and Regret Analysis

Yingying Li, Xin Chen+1 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Bandit Algorithms Research参考文献 56被引用 28

一句话总结

本文提出了一种新型在线最优控制算法——基于滚动时域的梯度控制（RHGC），适用于具有时变凸代价函数和有限未来代价预测的线性时不变系统。通过利用预测信息在滚动时域内进行基于梯度的优化，RHGC 实现了随预测窗口大小呈指数衰减的动态遗憾，逼近线性二次跟踪问题中的根本性能极限。

ABSTRACT

This paper studies the online optimal control problem with time-varying convex stage costs for a time-invariant linear dynamical system, where a finite lookahead window of accurate predictions of the stage costs are available at each time. We design online algorithms, Receding Horizon Gradient-based Control (RHGC), that utilize the predictions through finite steps of gradient computations. We study the algorithm performance measured by dynamic regret: the online performance minus the optimal performance in hindsight. It is shown that the dynamic regret of RHGC decays exponentially with the size of the lookahead window. In addition, we provide a fundamental limit of the dynamic regret for any online algorithms by considering linear quadratic tracking problems. The regret upper bound of one RHGC method almost reaches the fundamental limit, demonstrating the effectiveness of the algorithm. Finally, we numerically test our algorithms for both linear and nonlinear systems to show the effectiveness and generality of our RHGC.

研究动机与目标

• 解决在具有已知线性动态的时变代价下，在线最优控制中的非渐近性能差距问题。
• 设计计算高效的在线控制算法，有效利用有限时域的未来代价预测。
• 为在线控制算法建立紧致的遗憾边界，并识别根本性能极限。
• 通过在非线性动力学上的数值验证，展示 RHGC 的通用性与有效性。

提出的方法

• 提出基于滚动时域的梯度控制（RHGC），在有限预测窗口内应用梯度方法（如梯度下降、三重动量）以计算控制输入。
• 采用滚动时域框架，即在每个时间步，算法利用未来 W 步的代价预测求解局部优化问题。
• 对控制序列采用基于梯度的更新，随着时序推进，时域窗口向前滑动，确保实时适应性。
• 使用动态遗憾度量分析遗憾，将在线性能与已知未来代价的最优离线解进行比较。
• 在强凸性和光滑性假设下推导理论遗憾边界，表明遗憾随预测窗口大小 W 呈指数衰减。
• 为线性二次跟踪问题中任意在线算法建立遗憾的下限，表明 RHTM 的近似最优性。

实验结果

研究问题

• RQ1 如何设计在线控制算法，以在时变线性系统中高效利用有限时域的未来代价预测？
• RQ2 在具有预测能力的在线最优控制中，动态遗憾的根本性能极限（下限）是什么？
• RQ3 预测窗口大小 W 在多大程度上影响在线控制算法的遗憾衰减速率？
• RQ4 系统可控制性在多大程度上影响基于预测的在线控制算法的遗憾性能？
• RQ5 基于预测的在线控制算法是否能在最坏情况下实现近似最优性能？

主要发现

• 基于滚动时域的梯度下降（RHGD）的动态遗憾随预测窗口大小 W 呈指数衰减，表明预测信息被高效利用。
• 基于滚动时域的三重动量（RHTM）的遗憾边界几乎与线性二次跟踪问题中推导出的根本下限一致，表明其近乎最优。
• 随着系统更加敏捷（以更低的可控制性指数衡量），遗憾减小，表明在响应更快的系统中性能更优。
• 理论遗憾边界在强凸性和光滑性假设下推导，但数值实验表明，即使在无此假设条件下，RHGC 依然有效。
• 数值结果证实，RHGC 在线性与非线性系统上均表现有效，包括两轮机器人路径跟踪，表明其超越 LTI 假设的通用性。
• 当将无预测的在线算法整合进 RHGC 框架时，其遗憾可降低一个随 W 指数衰减的因子。