[论文解读] Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems

Sahin Lale, Kamyar Azizzadenesheli+2 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Bandit Algorithms Research参考文献 61被引用 50

一句话总结

本文提供了第一种在开环和闭环设置下均可使用的部分观测线性动态系统的有限时间系统识别方法，并引入 AdaptOn，一种在 T 步实现多对数级后悔界的自适应在线学习算法。

ABSTRACT

We study the problem of system identification and adaptive control in partially observable linear dynamical systems. Adaptive and closed-loop system identification is a challenging problem due to correlations introduced in data collection. In this paper, we present the first model estimation method with finite-time guarantees in both open and closed-loop system identification. Deploying this estimation method, we propose adaptive control online learning (AdaptOn), an efficient reinforcement learning algorithm that adaptively learns the system dynamics and continuously updates its controller through online learning steps. AdaptOn estimates the model dynamics by occasionally solving a linear regression problem through interactions with the environment. Using policy re-parameterization and the estimated model, AdaptOn constructs counterfactual loss functions to be used for updating the controller through online gradient descent. Over time, AdaptOn improves its model estimates and obtains more accurate gradient updates to improve the controller. We show that AdaptOn achieves a regret upper bound of $ ext{polylog}\left(T ight)$, after $T$ time steps of agent-environment interaction. To the best of our knowledge, AdaptOn is the first algorithm that achieves $ ext{polylog}\left(T ight)$ regret in adaptive control of unknown partially observable linear dynamical systems which includes linear quadratic Gaussian (LQG) control.

研究动机与目标

• 动机并解决部分观测LDS的有限时间系统识别。
• 开发可在开环和闭环设置中使用的预测器形式估计方法。
• 提出 AdaptOn，一种利用反事实损失更新控制器的在线学习算法。
• 证明在强凸成本下 AdaptOn 的多对数级后悔界。

提出的方法

• 将系统表述为预测器形式，使用卡尔曼增益 F 和 Abar 以实现回归。
• 建立正则化最小二乘问题以从输入输出数据估计与马尔可夫参数相关的矩阵 G_y。
• 开发 SysId，通过汉克矩阵和Ho-Kalman风格步骤恢复(A,B,C)以及马尔可夫参数矩阵 G(H)。
• 定义 Nature 的 y 并使用 b_t(G) 以实现用于策略评估的反事实推理。
• 采用干扰反馈控制（DFC），采用凸策略参数化和在线梯度更新。
• 以分期进行 AdaptOn，具周期性重估和使用反事实损失的在线凸优化。

实验结果

研究问题

• RQ1 在闭环估计中，模型参数是否可以在有限时间内获得保证的估计？
• RQ2 强化学习算法是否能够利用此类估计在部分观测LDS中显著降低后悔？
• RQ3 如何构造反事实损失以驱动此设置中的在线策略更新？

主要发现

• 有限时间系统识别保证：在持续激励输入下，估计误差收敛到 tilde-O(1/√T)。
• AdaptOn 在 T 步后在强凸损失下达到 polylog(T) 的后悔上界。
• 这项工作首次给出未知部分可观测线性动态系统（包括 LQG）的自适应控制的对数后悔结果。
• 闭环估计在相关工作中的 sqrt(T) 上界之上取得了改进的后悔界。
• 推论将结果扩展到当它们的 DFC 近似落在所考虑的策略类中时的近似最优 LQG 控制器。