[论文解读] Distributed Online Optimization for Multi-Agent Networks with Coupled Inequality Constraints

Xiuxian Li, Xinlei Yi+1 more|arXiv (Cornell University)|May 15, 2018

Advanced Bandit Algorithms Research参考文献 53被引用 8

一句话总结

该论文提出了一种用于具有局部集约束和耦合不等式约束的多智能体网络的分布式在线原始-对偶推送求和算法（DOPP），其中成本函数和约束函数是按顺序揭示的。该算法在无需有界拉格朗日乘子假设的情况下实现了次线性动态遗憾和约束违反，因此适用于非平衡网络以及智能电网和无线网络中的实时应用。

ABSTRACT

This paper investigates the distributed online optimization problem over a multi-agent network subject to local set constraints and coupled inequality constraints, which has a lot of applications in many areas, such as wireless sensor networks, power systems and plug-in electric vehicles. In this problem, the cost function at each time step is the sum of local cost functions with each of them being gradually revealed to its corresponding agent, and meanwhile only local functions in coupled inequality constraints are accessible to each agent. To address this problem, a modified primal-dual algorithm, called distributed online primal-dual push-sum algorithm (DOPP), is developed in this paper, which does not rest on any assumption on parameter boundedness and is applicable to unbalanced networks. It is shown that the proposed algorithm is sublinear for both the dynamic regret and the violation of coupled inequality constraints. Finally, the theoretical results are supported by a simulation example.

研究动机与目标

• 解决在部分、时变信息下具有局部集约束和耦合不等式约束的多智能体网络中的分布式在线优化问题。
• 开发一种无需事先知晓未来成本或约束函数的分布式算法。
• 消除对有界拉格朗日乘子假设的需求，该假设限制了先前方法的应用。
• 确保适用于非平衡通信网络，这类网络在实际部署中很常见。
• 实现在线性能评估中的次线性动态遗憾和约束违反。

提出的方法

• 基于推送求和一致性，提出一种改进的原始-对偶算法DOPP，以处理非平衡网络拓扑。
• 仅使用本地信息——每个智能体仅访问其自身的本地成本和约束函数。
• 引入一种对偶变量更新规则，结合本地次梯度和通过推送求和得到的加权平均。
• 采用自适应步长和归一化机制，以在无需有界性假设的情况下保持收敛。
• 利用凸性和柯西-施瓦茨不等式推导对偶变量误差的递归不等式，从而得出收敛界。
• 通过类似李雅普诺夫的分析建立理论收敛性，将遗憾和约束违反以时间范围的形式进行有界化。

实验结果

研究问题

• RQ1 在不假设拉格朗日乘子有界的情况下，分布式在线优化算法是否能在耦合不等式约束下实现次线性动态遗憾？
• RQ2 在仅访问本地函数的情况下，非平衡网络中的智能体如何就对偶变量达成一致？
• RQ3 在在线分布式设置中，动态遗憾与约束违反之间存在何种性能权衡？
• RQ4 当成本和约束函数按顺序揭示时，该算法能否保持次线性遗憾和约束违反？
• RQ5 与标准一致性方法相比，推送求和机制如何提升在非平衡网络中的鲁棒性？

主要发现

• 所提出的DOPP算法对全局目标函数实现了O(T^{3/4})阶的次线性动态遗憾。
• 该算法对耦合不等式约束实现了O(T^{3/4})阶的次线性约束违反。
• 该方法无需假设拉格朗日乘子有界，这是先前工作中的一项关键假设，因此显著提升了实际适用性。
• 该算法适用于非平衡通信网络，因为它依赖于推送求和一致性，而非双随机权重。
• 理论分析通过李雅普诺夫函数方法确认了收敛性，有界化了对偶变量误差和约束违反。
• 仿真结果验证了理论发现，显示遗憾和违反随时间保持一致的次线性增长。