[论文解读] Finite Time Analysis of Optimal Adaptive Policies for Linear-Quadratic Systems.

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari+1 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Bandit Algorithms Research参考文献 14被引用 26

一句话总结

本文为具有未知动态的线性二次系统自适应控制提供了有限时间高概率 regret 边界，其最优性仅相差对数因子。该文提出一种基于随机线性反馈的稳定化算法，并在最简假设下建立保证：系统可稳定化且噪声具有矩条件。

ABSTRACT

We consider the classical problem of control of linear systems with quadratic cost. When the true system dynamics are unknown, an adaptive policy is required for learning the model parameters and planning a control policy simultaneously. Addressing this trade-off between accurate estimation and good control represents the main challenge in the area of adaptive control. Another important issue is to prevent the system becoming destabilized due to lack of knowledge of its dynamics. Asymptotically optimal approaches have been extensively studied in the literature, but there are very few non-asymptotic results which also do not provide a comprehensive treatment of the problem. In this work, we establish finite time high probability regret bounds that are optimal up to logarithmic factors. We also provide high probability guarantees for a stabilization algorithm based on random linear feedbacks. The results are obtained under very mild assumptions, requiring: (i) stabilizability of the matrices encoding the system's dynamics, and (ii) degree of heaviness of the noise distribution. To derive our results, we also introduce a number of new concepts and technical tools.

研究动机与目标

• 解决在未知线性二次系统自适应控制中平衡探索（参数估计）与利用（控制性能）的挑战。
• 为自适应策略提供非渐近的、高概率的性能保证，克服先前渐近结果的局限性。
• 通过引入基于随机线性反馈的稳定化算法，确保学习过程中的系统稳定性。
• 在系统动态和噪声的最小假设下，推导出有限时间 regret 边界，其最优性仅相差对数因子。

提出的方法

• 利用新颖的技术工具和概念，推导出自适应策略在线性二次系统中的有限时间高概率 regret 边界。
• 提出一种基于随机线性反馈的稳定化机制，以防止学习阶段的不稳定。
• 依赖温和假设：系统矩阵的可稳定化性以及噪声分布的矩条件。
• 采用一种框架，同时学习系统动态并计算控制策略，确保稳定性和性能边界。
• 利用集中不等式和鞅论证，建立对估计误差和控制误差的高概率边界。
• 开发新的分析工具，以处理有限时间内参数估计不确定性与控制性能之间的相互作用。

实验结果

研究问题

• RQ1 在具有未知动态的线性二次系统中，自适应策略可实现的有限时间 regret 边界是什么？
• RQ2 当动态未知时，如何在学习过程中保证系统稳定性？
• RQ3 regret 边界在多大程度上是最优的？与信息论下界相比如何？
• RQ4 在系统结构和噪声的最小假设下，能否通过随机线性反馈实现稳定化？
• RQ5 为确保自适应控制中的有限时间性能和稳定性，所需的最小假设是什么？

主要发现

• 本文建立了有限时间高概率 regret 边界，其最优性仅相差对数因子，显著优于渐近结果。
• 提供了基于随机线性反馈的稳定化算法，并具有高概率保证，确保学习过程中的系统稳定性。
• 结果在最小假设下成立：系统矩阵的可稳定化性以及噪声分布的矩条件。
• 分析引入了新的技术工具和概念，实现了对有限时间内估计误差与控制误差权衡的精确控制。
• 该框架同时学习系统动态并计算控制策略，在有限时间内实现稳定性和近似最优性。
• 该方法提供了非渐近性能保证，填补了自适应控制文献中的关键空白。