[论文解读] Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems

T. T. Chang, Sapana Chaudhary+2 more|arXiv (Cornell University)|Feb 23, 2023

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出 D-Safe-OGD，一种分布式在线优化算法，在未知线性约束条件下确保安全性的同时最小化动态遗憾。该算法结合协同约束估计与在线梯度下降，针对凸问题实现了 $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$ 的动态遗憾界，针对某些非凸问题实现了 $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$ 的遗憾界，首次在非凸安全分布式设置中建立了此类界限。

ABSTRACT

This paper addresses safe distributed online optimization over an unknown set of linear safety constraints. A network of agents aims at jointly minimizing a global, time-varying function, which is only partially observable to each individual agent. Therefore, agents must engage in local communications to generate a safe sequence of actions competitive with the best minimizer sequence in hindsight, and the gap between the two sequences is quantified via dynamic regret. We propose distributed safe online gradient descent (D-Safe-OGD) with an exploration phase, where all agents estimate the constraint parameters collaboratively to build estimated feasible sets, ensuring the action selection safety during the optimization phase. We prove that for convex functions, D-Safe-OGD achieves a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$, where $C_T^*$ denotes the path-length of the best minimizer sequence. We further prove a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$ for certain non-convex problems, which establishes the first dynamic regret bound for a safe distributed algorithm in the non-convex setting.

研究动机与目标

• 解决在未知线性安全约束下的分布式在线优化问题，其中各 agent 需联合最小化时变的全局目标函数。
• 在全局函数部分可观测且约束未知的情况下，确保优化过程中的动作安全性。
• 推导出与最优最小化器序列路径长度 $C_T^*$ 成比例的动态遗憾界，反映对时变环境的适应能力。
• 将动态遗憾分析扩展至在安全约束下的非凸问题，填补了分布式在线学习中此前未解决的空白。

提出的方法

• 提出 D-Safe-OGD，一种带有专用探索阶段的分布式在线梯度下降算法，用于协同估计未知约束参数。
• 利用 agent 网络通过局部通信联合估计可行集，确保优化过程中的安全性。
• 采用 Bregman 散度与在线镜像下降技术分析遗憾，结合对偶变量与投影更新。
• 引入两阶段策略：初始探索阶段用于估计约束，随后在保证安全的前提下进行优化。
• 通过重参数化与几何假设，将凸问题的遗憾分析扩展至非凸设置。
• 利用路径长度 $C_T^*$ 作为环境变化的度量，推导遗憾界，将性能与时间稳定性相联系。

实验结果

研究问题

• RQ1 是否存在一种分布式在线优化算法，可在未知线性约束条件下保持安全性，同时实现次线性动态遗憾？
• RQ2 在未知安全约束下，凸分布式在线优化的动态遗憾界是什么？
• RQ3 能否将动态遗憾分析扩展至分布式设置下具有安全约束的非凸问题？
• RQ4 在时变环境中，最优序列的路径长度 $C_T^*$ 如何影响遗憾界？
• RQ5 在分布式在线学习中，约束估计的探索与遗憾最小化之间存在何种权衡？

主要发现

• 对于凸问题，D-Safe-OGD 实现了 $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$ 的动态遗憾界，其中 $C_T^*$ 为最优序列的路径长度。
• 对于某些非凸问题，该算法实现了 $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$ 的动态遗憾界，这是在安全分布式非凸设置中的首次此类结果。
• 遗憾界随时间 $T$ 的增长呈次线性，表明尽管环境发生变化，系统仍能随时间收敛至最优序列。
• 探索阶段可实现对未知约束参数的精确估计，确保在无先验知识下仍保持安全性。
• 分析过程利用 Bregman 散度与在线镜像下降技术，以处理非光滑与非凸目标函数。
• 推导出的界限在 $T$ 与 $C_T^*$ 上均为紧致的，与凸情况下的已知下界一致，并将其扩展至非凸与安全设置。