[论文解读] Introduction to Online Control

Elad Hazan, Karan P. Singh|arXiv (Cornell University)|Nov 17, 2022

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出了在线非随机控制（online nonstochastic control）框架，用于在对抗性代价函数和扰动下控制动态系统，采用在线凸优化技术。该文提出梯度扰动控制器（gradient perturbation controller），并建立了次线性后悔边界，通过在线梯度下降实现 $ O(\text{GD} \sum{T}) $ 的后悔，为传统最优控制或鲁棒控制失效的对抗性环境中提供有限时间保证。

ABSTRACT

This text presents an introduction to an emerging paradigm in control of dynamical systems and differentiable reinforcement learning called online nonstochastic control. The new approach applies techniques from online convex optimization and convex relaxations to obtain new methods with provable guarantees for classical settings in optimal and robust control. The primary distinction between online nonstochastic control and other frameworks is the objective. In optimal control, robust control, and other control methodologies that assume stochastic noise, the goal is to perform comparably to an offline optimal strategy. In online nonstochastic control, both the cost functions as well as the perturbations from the assumed dynamical model are chosen by an adversary. Thus the optimal policy is not defined a priori. Rather, the target is to attain low regret against the best policy in hindsight from a benchmark class of policies. This objective suggests the use of the decision making framework of online convex optimization as an algorithmic methodology. The resulting methods are based on iterative mathematical optimization algorithms, and are accompanied by finite-time regret and computational complexity guarantees.

研究动机与目标

• 解决经典最优控制与鲁棒控制在对抗性环境中面临的局限性，其中噪声和代价函数由对手选择。
• 开发一种控制框架，确保相对于事后最优策略的低后悔，而非依赖于随机性假设。
• 将在线凸优化技术应用于动态系统，实现有限时间内的后悔与计算复杂度保证。
• 形式化适用于在线非随机控制的策略类别与控制器结构，包括线性控制器与扰动响应控制器。
• 通过引入一种新范式，弥合在线学习与控制理论之间的差距，确保在最坏情况下具有性能保证。

提出的方法

• 在对抗性环境中，使用投影到凸决策集上的在线梯度下降以最小化后悔。
• 应用梯度扰动控制器，其根据当前代价函数的梯度更新控制动作。
• 采用两步更新：先执行梯度下降步骤，再通过投影保持在凸集 $\mathcal{K}$ 内的可行性。
• 将后悔定义为实际代价与事后最优固定策略代价之间的累积差值。
• 使用边界 $D$（决策集的直径）和 $G$（梯度范数）推导后悔保证。
• 通过望远镜级数与毕达哥拉斯不等式分析，推导出后悔边界 $ \mathrm{regret}_T \leq \frac{3}{2}GD\sqrt{T} $。

实验结果

研究问题

• RQ1 在线凸优化技术能否有效适应在对抗性代价函数与扰动下的动态系统控制？
• RQ2 在线非随机控制中可实现的最小后悔是多少？能否独立于系统动态特性进行有界？
• RQ3 不同策略类别（如线性、广义线性、扰动响应）在表达能力与后悔性能方面如何比较？
• RQ4 梯度扰动控制器能否在对抗性在线控制中实现次线性后悔并提供有限时间保证？
• RQ5 实现具有可证明性能保证的在线控制算法，其计算与结构需求是什么？

主要发现

• 在线梯度下降算法实现了 $ \frac{3}{2}GD\sqrt{T} $ 的后悔边界，该边界在时间 $ T $ 上为次线性，确保长期平均性能趋近于最优固定策略。
• 该后悔边界通过凸性、投影性质与望远镜级数推导得出，步长 $ \eta_t = \frac{D}{G\sqrt{t}} $ 确保了收敛性与稳定性之间的最优权衡。
• 投影步骤确保了在凸决策集 $ \mathcal{K} $ 内的可行性，其计算成本由凸优化的复杂度所限制。
• 该框架对对抗性代价函数与扰动具有鲁棒性，因为最优策略并非先验假设存在，而是在事后学习得到。
• 分析表明，即使在最坏代价函数下，累积后悔的增长速度也慢于线性，从而实现可靠的性能保证。
• 该方法提供了有限时间内的后悔与计算复杂度保证，使其适用于不确定环境下的实时控制应用。