[论文解读] Black-Box Control for Linear Dynamical Systems

Xinyi Chen, Elad Hazan|arXiv (Cornell University)|Jul 13, 2020

Advanced Bandit Algorithms Research参考文献 23被引用 16

一句话总结

该论文提出了首个针对未知线性时不变（LTI）系统在对抗性扰动和凸成本函数下，具有次线性遗憾的高效黑箱控制算法，且仅依赖单条轨迹。对于一般凸成本，其遗憾界为 $2^{\tilde{O}({\mathcal{L}})} + \tilde{O}(\mathrm{poly}({\mathcal{L}})T^{2/3})$；对于二次成本，其遗憾界为 $2^{\tilde{O}({\mathcal{L}})} + \tilde{O}(\mathrm{poly}({\mathcal{L}})\sqrt{T})$。同时，通过匹配的 $2^{\Omega(\mathcal{L})}$ 下界证明了系统规模 $\mathcal{L}$ 的指数依赖关系不可避免。

ABSTRACT

We consider the problem of controlling an unknown linear time-invariant dynamical system from a single chain of black-box interactions, with no access to resets or offline simulation. Under the assumption that the system is controllable, we give the first efficient algorithm that is capable of attaining sublinear regret in a single trajectory under the setting of online nonstochastic control. This resolves an open problem on the stochastic LQR problem, and in a more challenging setting that allows for adversarial perturbations and adversarially chosen and changing convex loss functions. We give finite-time regret bounds for our algorithm on the order of $2^{ ilde{O}(\mathcal{L})} + ilde{O}( ext{poly}(\mathcal{L}) T^{2/3})$ for general nonstochastic control, and $2^{ ilde{O}(\mathcal{L})} + ilde{O}( ext{poly}(\mathcal{L}) \sqrt{T})$ for black-box LQR, where $\mathcal{L}$ is the system size which is an upper bound on the dimension. The crucial step is a new system identification method that is robust to adversarial noise, but incurs exponential cost. To complete the picture, we investigate the complexity of the online black-box control problem, and give a matching lower bound of $2^{Ω(\mathcal{L})}$ on the regret, showing that the additional exponential cost is inevitable. This lower bound holds even in the noiseless setting, and applies to any, randomized or deterministic, black-box control method.

研究动机与目标

• 解决未知LTI系统在无重置或离线仿真访问条件下的高效黑箱控制开放问题。
• 设计一种算法，在对抗性扰动和变化的凸成本函数下，仅通过单条在线轨迹实现次线性遗憾。
• 建立有限时间遗憾界，使其与事后最优控制器的性能具有可比性，即使对系统动态完全无先验知识。
• 证明系统规模 $\mathcal{L}$ 的指数依赖关系不可避免，即使在无噪声设置下，对任何黑箱控制方法均成立。

提出的方法

• 提出一种对对抗性噪声具有鲁棒性的新型系统辨识方法，可仅从单条轨迹中准确估计系统动态。
• 通过迭代构造正交矩阵 $V$ 和控制增益 $Q$，使状态幅值呈指数增长，从而确保系统可观测性和可控制性的识别。
• 采用扰动-动作控制器类作为比较策略，该类包含 $H_2$、$H_\infty$ 和最优线性控制器。
• 引入一种自适应控制策略，基于历史状态和成本在策略空间中使用投影在线梯度下降方法选择动作。
• 通过新颖的估计误差与控制性能分析推导遗憾界，利用状态范数的指数增长确保可辨识性。
• 建立匹配的信息论下界 $2^{\Omega(\mathcal{L})}$，证明任何确定性或随机黑箱方法的遗憾均不可避免地具有指数代价。

实验结果

研究问题

• RQ1 是否存在一种高效算法，可在仅具有黑箱访问且无重置的条件下，实现对未知LTI系统在非随机在线控制中的次线性遗憾？
• RQ2 是否可能仅通过单条轨迹，在对抗性扰动下鲁棒地识别系统动态？
• RQ3 黑箱控制的根本复杂度在系统规模 $\mathcal{L}$ 下如何？是否可避免对 $\mathcal{L}$ 的指数依赖？
• RQ4 所提出的算法是否能实现与事后最优扰动-动作控制器相媲美的遗憾界？
• RQ5 能否建立一个紧致下界，证明黑箱控制的指数代价是本质且不可避免的？

主要发现

• 所提算法在一般凸成本函数下实现 $\tilde{O}(\mathrm{poly}(\mathcal{L})T^{2/3})$ 的遗憾，额外增加 $2^{\tilde{O}(\mathcal{L})}$ 项，源于系统辨识。
• 在二次成本（黑箱LQR）的特殊情形下，遗憾界提升为 $2^{\tilde{O}(\mathcal{L})} + \tilde{O}(\mathrm{poly}(\mathcal{L})\sqrt{T})$，与随机设置下已知的最佳界限一致。
• 该算法高效且运行时间多项式，解决了LTI系统高效黑箱控制的开放问题。
• 在非随机设置下，证明了 $2^{\Omega(\mathcal{L})}$ 的匹配下界，表明系统规模 $\mathcal{L}$ 的指数依赖关系不可避免。
• 该下界即使在无噪声情况下也成立，适用于所有确定性和随机黑箱控制方法，确立了该问题的根本极限。
• 系统辨识方法对对抗性噪声具有鲁棒性，依赖于构造状态轨迹的指数增长范数，以确保仅从单条轨迹中即可实现可辨识性。