[论文解读] Certainty Equivalence is Efficient for Linear Quadratic Control

Horia Mania, Stephen Tu+1 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Bandit Algorithms Research参考文献 37被引用 42

一句话总结

该论文证明，在完全观测的 LQR 和部分观测的 LQG 设置中，使用带估计线性动态的 certainty equivalent 控制器会产生一个次优差量，其随估计误差（epsilon）的平方级增长，并提供离散黎卡提方程的新扰动界限。

ABSTRACT

We study the performance of the certainty equivalent controller on Linear Quadratic (LQ) control problems with unknown transition dynamics. We show that for both the fully and partially observed settings, the sub-optimality gap between the cost incurred by playing the certainty equivalent controller on the true system and the cost incurred by using the optimal LQ controller enjoys a fast statistical rate, scaling as the square of the parameter error. To the best of our knowledge, our result is the first sub-optimality guarantee in the partially observed Linear Quadratic Gaussian (LQG) setting. Furthermore, in the fully observed Linear Quadratic Regulator (LQR), our result improves upon recent work by Dean et al. (2017), who present an algorithm achieving a sub-optimality gap linear in the parameter error. A key part of our analysis relies on perturbation bounds for discrete Riccati equations. We provide two new perturbation bounds, one that expands on an existing result from Konstantinov et al. (1993), and another based on a new elementary proof strategy.

研究动机与目标

• 在 LQR 和 LQG 设置下，推动对未知线性动力系统在二次成本下的控制研究。
• 表明 certainty equivalent 控制在离线情形中通过实现对模型误差的二次依赖性，能够超越先前的鲁棒方法。
• 开发并应用离散黎卡提方程的扰动界限，以量化性能差距。

提出的方法

• 将 LQR/LQG 问题表述为对未知 A 与 B（以及 L 对 LQG，C）以及已知的 Q、R。
• 利用估计模型通过标准的黎卡提/ LQR 求解来计算名义控制器。
• 推导一个元定理，通过黎卡提扰动界限将估计误差与控制器不匹配及成本联系起来。
• 证明次优差距的量纲为 O( f(epsilon)^2 )，其中 f 是对 P_hat - P_star 的扰动界限。
• 将分析扩展到 LQG 设置，加入同时处理 Q 的扰动的扰动框架。
• 给出两种对黎卡提解的显式扰动界限（一种扩展 Konstantinov 等人，另一种新颖的初等证明）。

实验结果

研究问题

• RQ1 certainty 等价是否在 LQR 和 LQG 中产生随模型误差二次增长的次优差距？
• RQ2 黎卡提解中的扰动如何转化为名义控制器的性能差距？
• RQ3 在真实系统上使用来自估计动力学的控制器时，是否能保证稳定性并对成本进行界定？
• RQ4 LQR 与 LQG 设置在离线和在线（自适应）控制 regime 下的比较含义是什么？

主要发现

• 在离线 LQR 和 LQG 中，certainty equivalent 控制器实现的次优差距随参数误差（epsilon）的平方而增长。
• 作者提供了两种新的黎卡提扰动界限以支持敏感性分析。
• 在完全观测的 LQR 中，结果比 Dean 等人（2019）的线性于 epsilon 的保证更好。
• 对于 LQG，本研究为部分观测设定提供了首个次优性保证。
• 分析揭示，快速的 O(epsilon^2) 误差衰减伴随着对模型不确定性鲁棒性的权衡。
• 端到端含义表明，在这些保证下，采用标准 N 次采样学习时，端到端成本差距为 O(1/N)。