[论文解读] Distributed Nonconvex Multiagent Optimization Over Time-Varying Networks

Ying Sun, Gesualdo Scutari+1 more|arXiv (Cornell University)|Jul 1, 2016

Distributed Control Multi-Agent Systems参考文献 24被引用 17

一句话总结

本文提出 SONATA，一种基于广播的分布式算法，用于时变有向网络上的非凸约束优化。它结合了连续凸逼近（SCA）与梯度追踪，并引入一种新型网络内广播协议，无需双随机一致性矩阵或图序列的先验知识，即可实现对驻定解的收敛，是首个适用于任意时变有向图的此类框架。

ABSTRACT

We study nonconvex distributed optimization in multiagent networks where the communications between nodes is modeled as a time-varying sequence of arbitrary digraphs. We introduce a novel broadcast-based distributed algorithmic framework for the (constrained) minimization of the sum of a smooth (possibly nonconvex and nonseparable) function, i.e., the agents' sum-utility, plus a convex (possibly nonsmooth and nonseparable) regularizer. The latter is usually employed to enforce some structure in the solution, typically sparsity. The proposed method hinges on Successive Convex Approximation (SCA) techniques coupled with i) a tracking mechanism instrumental to locally estimate the gradients of agents' cost functions; and ii) a novel broadcast protocol to disseminate information and distribute the computation among the agents. Asymptotic convergence to stationary solutions is established. A key feature of the proposed algorithm is that it neither requires the double-stochasticity of the consensus matrices (but only column stochasticity) nor the knowledge of the graph sequence to implement. To the best of our knowledge, the proposed framework is the first broadcast-based distributed algorithm for convex and nonconvex constrained optimization over arbitrary, time-varying digraphs. Numerical results show that our algorithm outperforms current schemes on both convex and nonconvex problems.

研究动机与目标

• 解决多智能体网络中时变有向通信拓扑下的分布式非凸优化挑战。
• 开发一种可扩展的全分布式算法，无需双随机一致性矩阵或对网络序列的先验知识。
• 通过新型广播协议实现代理间高效计算与信息共享。
• 在对网络结构假设最少的前提下，建立非凸问题的收敛性保证。
• 通过实证验证，在凸与非凸设置下均优于现有方法。

提出的方法

• 该算法使用连续凸逼近（SCA）通过迭代求解凸子问题来处理非凸性。
• 每个代理通过本地梯度追踪机制跟踪其他代理函数的梯度。
• 一种新型网络内广播协议可实现信息的高效传播与计算的分布执行，且无需依赖邻居的反馈。
• 该方法依赖列随机一致性矩阵而非双随机矩阵，从而扩大了在任意有向图上的适用性。
• 该算法设计为完全分布式，代理仅需了解自身本地函数，无需全局网络知识。
• 该框架支持光滑非凸与凸非光滑正则化项，可实现如稀疏性等结构化解。

实验结果

研究问题

• RQ1 能否在无需双随机性的情况下，使分布式算法在任意时变有向图上实现对非凸多智能体优化问题驻定解的收敛？
• RQ2 如何在完全分布式且可扩展的方式下，使代理估计其他代理函数的梯度？
• RQ3 在有向且时变的网络中，使用基于广播的协议而非传统一致性方案会产生何种影响？
• RQ4 在实际网络约束下，所提出的算法能否在凸与非凸优化问题中均优于现有方案？
• RQ5 在对网络拓扑与代理知识假设最少的情况下，该算法的收敛特性如何？

主要发现

• SONATA 在无需双随机一致性矩阵的前提下，实现了对任意时变有向图上非凸问题的渐近收敛至驻定解。
• 在凸与非凸问题上，SONATA 的收敛速度与一致性精度均优于次梯度传播（subgradient-push）及其他最先进方案。
• 数值结果表明，SONATA 在共识与收敛方面显著快于 subgradient-push，尤其在非凸场景中表现更优。
• 基于 SCA 的方案（采用部分线性化与近端项）在目标定位问题中相比简单线性化具有更优的收敛性能。
• 在 30 个传感器与 5 个目标的目标定位问题中，SONATA 在 200 次迭代内收敛速度优于基准梯度算法。
• 该算法在噪声环境中具有鲁棒性，即使距离测量受 i.i.d. 高斯噪声污染，仍能保持快速收敛。