[论文解读] Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints

Xinlei Yi, Xiuxian Li+2 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Bandit Algorithms Research参考文献 59被引用 9

一句话总结

该论文提出了一种用于具有时变耦合不等式约束的凸优化的分布式在线原始-对偶动态镜像下降算法，其中局部函数按顺序揭示，各 agent 在动态网络中协作。在温和条件下，即使不假设 Slater 条件，也能实现次线性动态遗憾和约束违反，且在强凸性或 Slater 条件下可获得更优的界。

ABSTRACT

This paper considers distributed online optimization with time-varying coupled inequality constraints. The global objective function is composed of local convex cost and regularization functions and the coupled constraint function is the sum of local convex functions. A distributed online primal-dual dynamic mirror descent algorithm is proposed to solve this problem, where the local cost, regularization, and constraint functions are held privately and revealed only after each time slot. Without assuming Slater's condition, we first derive regret and constraint violation bounds for the algorithm and show how they depend on the stepsize sequences, the accumulated dynamic variation of the comparator sequence, the number of agents, and the network connectivity. As a result, under some natural decreasing stepsize sequences, we prove that the algorithm achieves sublinear dynamic regret and constraint violation if the accumulated dynamic variation of the optimal sequence also grows sublinearly. We also prove that the algorithm achieves sublinear static regret and constraint violation under mild conditions. Assuming Slater's condition, we show that the algorithm achieves smaller bounds on the constraint violation. In addition, smaller bounds on the static regret are achieved when the objective function is strongly convex. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

研究动机与目标

• 开发一种用于具有时变耦合不等式约束的凸优化的分布式在线算法。
• 在不假设 Slater 条件的情况下分析遗憾和约束违反。
• 表征性能对步长序列、网络连通性和最优序列动态变化的依赖关系。
• 在温和假设下建立次线性遗憾和约束违反。
• 比较不同正则化和动态设置下的性能。

提出的方法

• 设计了一种分布式在线原始-对偶动态镜像下降算法，各 agent 在每个时间槽使用本地成本、正则化和约束函数更新其决策。
• 该算法使用对偶变量处理耦合不等式约束，并结合时变 Bregman 散度实现原始更新的镜像下降。
• 通过时变有向图对网络通信进行建模，agent 通过与邻居交换信息来保持对偶变量的一致性。
• 利用李雅普诺夫函数和错位求和分析遗憾和约束违反，界以步长序列和比较序列的动态变化表示。
• 理论分析考虑了 agent 数量、网络连通性和局部函数结构。
• 数值仿真验证了在各种设置下（包括不同正则化和动态）的理论界，包括不同正则化和动态。

实验结果

研究问题

• RQ1 是否能够设计一种分布式在线算法，在不假设 Slater 条件的情况下实现次线性动态遗憾和约束违反？
• RQ2 最优序列的累积动态变化如何影响性能界？
• RQ3 网络连通性和步长选择对遗憾和约束违反有何影响？
• RQ4 强凸性和 Slater 条件如何改善理论界？
• RQ5 正则化如何影响遗憾与约束违反之间的权衡？

主要发现

• 当最优序列的累积动态变化以次线性方式增长时，该算法在任意递减步长序列下可实现次线性动态遗憾和约束违反。
• 在不假设 Slater 条件时，约束违反界与最优序列动态变化的平方根成正比。
• 在 Slater 条件下，约束违反界得到降低，对动态变化的依赖更紧密。
• 当目标函数为强凸时，静态遗憾界得到改善，实现具有更优常数的次线性速率。
• 数值结果表明，显式正则化相比无正则化可实现更小的动态遗憾和约束违反。
• 该算法在遗憾和约束违反方面表现与集中式在线算法相当，且优于部分现有方法。