[论文解读] Decentralized Online Convex Optimization in Networked Systems

Yiheng Lin, Judy Gan+3 more|arXiv (Cornell University)|Jul 13, 2022

Distributed Control Multi-Agent Systems被引用 5

一句话总结

该论文提出了一种新型的去中心化在线凸优化算法——局部预测控制（LPC），适用于具有时间与空间相互作用的网络化系统。LPC 利用局部预测和邻域信息，最小化全局成本。其竞争比为 $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$，随着预测时域 $k$ 和通信半径 $r$ 的增加，该比值呈指数趋近于 1，并通过匹配的下界证明了该依赖关系近乎最优。

ABSTRACT

We study the problem of networked online convex optimization, where each agent individually decides on an action at every time step and agents cooperatively seek to minimize the total global cost over a finite horizon. The global cost is made up of three types of local costs: convex node costs, temporal interaction costs, and spatial interaction costs. In deciding their individual action at each time, an agent has access to predictions of local cost functions for the next $k$ time steps in an $r$-hop neighborhood. Our work proposes a novel online algorithm, Localized Predictive Control (LPC), which generalizes predictive control to multi-agent systems. We show that LPC achieves a competitive ratio of $1 + ilde{O}(ρ_T^k) + ilde{O}(ρ_S^r)$ in an adversarial setting, where $ρ_T$ and $ρ_S$ are constants in $(0, 1)$ that increase with the relative strength of temporal and spatial interaction costs, respectively. This is the first competitive ratio bound on decentralized predictive control for networked online convex optimization. Further, we show that the dependence on $k$ and $r$ in our results is near optimal by lower bounding the competitive ratio of any decentralized online algorithm.

研究动机与目标

• 设计一种去中心化在线算法，有效处理网络化系统中的时间与空间相互作用成本。
• 利用局部预测和有限的邻域信息，将预测控制整合到多智能体场景中。
• 在对抗性成本序列下，为去中心化在线优化建立竞争比的上界。
• 量化预测时域 $k$ 与通信半径 $r$ 在性能上的权衡关系。
• 通过下界证明算法对 $k$ 和 $r$ 的依赖关系近乎最优。

提出的方法

• 提出局部预测控制（LPC），一种专为去中心化多智能体系统设计的预测控制框架。
• 每个智能体利用其 $r$-跳邻域内未来 $k$ 步的局部成本预测来制定决策。
• LPC 最小化由凸节点成本、时间相互作用成本和空间相互作用成本组成的全局成本函数。
• 该算法采用基于局部信息的滚动时域优化策略，确保可扩展性与低通信开销。
• 理论分析推导出包含衰减因子 $\rho_T$ 和 $\rho_S$ 的竞争比上界，其值取决于时间与空间相互作用的强度。
• 通过建立任何去中心化算法的竞争比下界，证明了其近乎最优性，表明其依赖关系为 $\Omega(\lambda_T^k) + \Omega(\lambda_S^r)$。

实验结果

研究问题

• RQ1 在具有时间与空间成本的对抗性网络化在线凸优化中，去中心化算法能否实现接近 1 的竞争比？
• RQ2 预测时域 $k$ 与通信半径 $r$ 如何在决定算法性能方面进行权衡？
• RQ3 竞争比对 $k$ 和 $r$ 的依赖关系是否对去中心化在线控制而言近乎最优？
• RQ4 预测控制能否推广到仅依赖局部信息但具有全局目标的去中心化多智能体系统？
• RQ5 在此设定下，任何去中心化在线算法的竞争比的根本极限是什么？

主要发现

• LPC 实现了 $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$ 的竞争比，随着 $k$ 和 $r$ 的增加，该比值呈指数趋近于 1。
• 竞争比依赖于衰减因子 $\rho_T$ 和 $\rho_S$，其值随时间与空间相互作用成本的相对强度增加而增大。
• 对 $k$ 和 $r$ 的依赖关系近乎最优，因为任何去中心化算法的竞争比下界为 $1 + \Omega(\lambda_T^k) + \Omega(\lambda_S^r)$。
• 资源增强分析表明，在问题的结构参数下，LPC 的性能在 $k$ 和 $r$ 方面为阶最优。
• 衰减因子 $\rho_T$ 和 $\rho_S$ 可根据问题的相互作用强度进行有界，满足 $\rho_T^4 \leq \lambda_T \leq \rho_T^2$ 且 $\rho_S^{32} \leq \lambda_S$。
• 研究结果量化了在给定时间与空间相互作用强度下，为达到目标竞争比所需最小的 $k$ 和 $r$。