[论文解读] Distributed Convex Optimization with Inequality Constraints over Time-varying Unbalanced Digraphs

Pei Xie, Keyou You+3 more|arXiv (Cornell University)|Dec 29, 2016

Cooperative Communication and Network Coding被引用 3

一句话总结

该论文提出了一种新颖的分布式算法，用于在时变非平衡有向图上求解带不等式约束的凸优化问题，通过等值面重构方法消除非平衡性影响。该算法结合了分布式次梯度下降与随机-固定投影方法，在统一联合强连通性条件下，证明了几乎必然收敛至一个共同的最优解。

ABSTRACT

This paper considers a distributed convex optimization problem with inequality constraints over time-varying unbalanced digraphs, where the cost function is a sum of local objectives, and each node of the graph only knows its local objective and inequality constraints. Although there is a vast literature on distributed optimization, most of them require the graph to be balanced, which is quite restrictive and not necessary. Very recently, the unbalanced problem has been resolved only for either time-invariant graphs or unconstrained optimization. This work addresses the unbalancedness by focusing on an epigraph form of the constrained optimization. A striking feature is that this novel idea can be easily used to study time-varying unbalanced digraphs. Under local communications, a simple iterative algorithm is then designed for each node. We prove that if the graph is uniformly jointly strongly connected, each node asymptotically converges to some common optimal solution.

研究动机与目标

• 解决在现实网络中常见的时变非平衡有向图上缺乏分布式约束优化算法的问题。
• 克服现有方法需依赖平衡图或不适用于时变拓扑结构的局限性。
• 设计一种简单、可扩展的算法，确保在无需全局知识或平衡通信矩阵的情况下收敛至共同最优解。
• 将随机-固定投影算法扩展至时变图结构，同时保持可行性与收敛性。

提出的方法

• 将原始的约束优化问题重构为等值面形式，以线性化目标函数并解耦局部目标，从而更易于处理非平衡有向图。
• 采用两步迭代算法：首先，在等值面形式上应用分布式次梯度下降，以达到类似一致性状态；其次，通过分布式版本的Polyak随机投影方法，将每个节点的状态投影至其局部约束集。
• 引入额外的朝固定方向的投影，以增强瞬态性能并加速收敛。
• 采用时变行随机权重矩阵来建模非平衡有向图上的通信，确保对平均状态达成一致性。
• 利用随机分析与李雅普诺夫型论证证明收敛性，利用图序列的统一联合强连通性条件。
• 通过权重矩阵隐式应用推送-求和机制，即使在非平衡有向图上也能维持信息交换的平衡性。

实验结果

研究问题

• RQ1 能否在无需平衡通信矩阵的条件下，求解时变非平衡有向图上的分布式凸优化问题（带不等式约束）？
• RQ2 在分布式优化框架中，如何有效处理有向图的非平衡性？
• RQ3 等值面重构方法是否可用于统一局部目标，从而简化约束问题的分布式算法设计？
• RQ4 时变图拓扑结构需满足何种条件，才能保证分布式算法收敛至共同最优解？
• RQ5 如何在不增加计算复杂度的前提下，提升收敛速度与瞬态行为？

主要发现

• 在时变有向图具有统一联合强连通性的假设下，所提算法可确保所有节点几乎必然收敛至共同最优解。
• 等值面重构方法成功消除了非平衡通信权重的影响，通过将问题转化为线性目标形式实现。
• 通过随机李雅普诺夫分析证明了迭代序列的收敛性，表明到最优解的期望平方距离几乎必然收敛。
• 通过分布式随机-固定投影步骤保持了迭代序列的可行性，确保每个节点的状态始终位于其局部约束集内。
• 通过增加朝固定方向的投影，改善了瞬态性能，加速了收敛，且不改变最终解。
• 该算法具有可扩展性，且无需网络全局知识，适用于具有动态拓扑的大规模分布式系统。