[论文解读] Making Non-Stochastic Control (Almost) as Easy as Stochastic

Max Simchowitz|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 30被引用 8

一句话总结

该论文提出了一种新颖的在线控制算法，在非随机控制设置下实现了最优的 $\widetilde{\mathcal{O}}(T^{1/2})$ 再次遗憾（regret），与随机LQR中的最佳已知遗憾率一致，通过将在线牛顿步法（online Newton step）适应于对抗性扰动。该方法处理任意强凸成本、部分观测以及完全对抗性的噪声，证明了在在线LQR中，随机性并不会改善遗憾率。

ABSTRACT

Recent literature has made much progress in understanding \emph{online LQR}: a modern learning-theoretic take on the classical control problem in which a learner attempts to optimally control an unknown linear dynamical system with fully observed state, perturbed by i.i.d. Gaussian noise. It is now understood that the optimal regret on time horizon $T$ against the optimal control law scales as $\widetildeΘ(\sqrt{T})$. In this paper, we show that the same regret rate (against a suitable benchmark) is attainable even in the considerably more general non-stochastic control model, where the system is driven by \emph{arbitrary adversarial} noise (Agarwal et al. 2019). In other words, \emph{stochasticity confers little benefit in online LQR}. We attain the optimal $\widetilde{\mathcal{O}}(\sqrt{T})$ regret when the dynamics are unknown to the learner, and $\mathrm{poly}(\log T)$ regret when known, provided that the cost functions are strongly convex (as in LQR). Our algorithm is based on a novel variant of online Newton step (Hazan et al. 2007), which adapts to the geometry induced by possibly adversarial disturbances, and our analysis hinges on generic "policy regret" bounds for certain structured losses in the OCO-with-memory framework (Anava et al. 2015). Moreover, our results accomodate the full generality of the non-stochastic control setting: adversarially chosen (possibly non-quadratic) costs, partial state observation, and fully adversarial process and observation noise.

研究动机与目标

• 弥合在线LQR设置中随机与非随机控制遗憾率之间的差距。
• 证明即使在对抗性扰动下，最优的 $\widetilde{\mathcal{O}}(T^{1/2})$ 遗憾率也可实现，而不仅限于i.i.d.高斯噪声。
• 开发一种在全一般性条件下均适用的高效算法：任意强凸成本、部分状态观测，以及对抗性的过程与观测噪声。
• 建立在线控制中的基本遗憾率与噪声的随机性无关，挑战了关于噪声结构能提升性能的先前假设。
• 将在线牛顿步法的应用扩展到OCO-with-memory框架中的结构化、具有记忆依赖性的损失，以适用于控制问题。

提出的方法

• 提出了一种新颖的在线牛顿步法（Ons）变体，使其能够适应控制动态中由对抗性扰动所诱导的几何结构。
• 利用OCO-with-memory框架，将控制问题建模为具有记忆效应的结构化、损失相关更新序列。
• 应用一种经过修改的Ons算法，通过选择正则化参数 $\lambda$ 来平衡遗憾与稳定性，从而确保 $\mu$-regret 边界。
• 通过OcoAM（在线控制自适应记忆）对损失进行变换，将控制目标映射为指数-强凸（exp-concave）且Lipschitz-有界的损失。
• 利用Ons在指数-强凸性和Lipschitz条件下已知的理论保证，推导遗憾边界，并将其适配到控制设置中。
• 证明在问题假设下，OcoAM损失满足所需的正则性条件（例如，$\tau$-exp-concavity）。

实验结果

研究问题

• RQ1 在具有对抗性扰动的非随机控制设置下，是否可以在在线LQR中实现最优的 $\widetilde{\mathcal{O}}(\sqrt{T})$ 遗憾率？
• RQ2 系统中存在随机噪声是否从根本上改善了在线控制中相对于对抗性噪声的遗憾率？
• RQ3 在线牛顿步法能否被适配以处理具有线性动态的非随机控制中出现的记忆依赖性、结构化损失？
• RQ4 当系统动态未知与已知时，非随机控制的最紧可能遗憾边界是什么？
• RQ5 在多大程度上可以利用OCO-with-memory框架来设计一般非随机控制问题的最小遗憾算法？

主要发现

• 当系统动态未知时，所提出的算法在非随机控制设置下实现了 $\widetilde{\mathcal{O}}(\sqrt{T})$ 遗憾率，与最优随机LQR率一致。
• 当系统动态已知时，该算法实现了 $\mathrm{poly}(\log T)$ 遗憾率，再次与随机设置中的最佳已知边界一致。
• 遗憾边界在全一般性条件下成立：任意强凸成本、部分状态观测，以及完全对抗性的过程与观测噪声。
• 分析表明，OcoAM损失变换确保了 $\frac{\alpha}{L_{\mathrm{eff}}^2}$-exp-concavity 和 $R_H L_{\mathrm{eff}}$-Lipschitzness，从而实现了紧密的遗憾控制。
• 该算法的性能由形式为 $\lesssim (R_0 D^2 T \mu^2)^{1/3} + R_0$ 的 $\mu$-regret 边界决定，其中 $R_0 = \max\{GD, 1/\tau\} \cdot d \log T$，在最优参数调优下可恢复 $\sqrt{T}$ 的缩放关系。
• 结果表明，在在线LQR中，随机性并不会改善遗憾率；即使在对抗性扰动下，同样的最优 $\sqrt{T}$ 速率也是可实现的。