[论文解读] Exact Diffusion for Distributed Optimization and Learning --- Part I: Algorithm Development

Kun Yuan, Bicheng Ying+2 more|arXiv (Cornell University)|Feb 16, 2017

Distributed Control Multi-Agent Systems参考文献 50被引用 16

一句话总结

本文提出 Exact Diffusion，一种分布式优化算法，可在非对称左随机组合矩阵下实现精确收敛，克服了传统一致性与扩散方法固有的偏差。通过将问题重新表述为惩罚优化问题，并采用对角加权的增量构造方法，该方法确保了全局最小值收敛，而无需使用双随机矩阵，从而实现了更广泛的网络拓扑适用性，并在稳定性和收敛性能方面优于 EXTRA。

ABSTRACT

This work develops a distributed optimization strategy with guaranteed exact convergence for a broad class of left-stochastic combination policies. The resulting exact diffusion strategy is shown in Part II to have a wider stability range and superior convergence performance than the EXTRA strategy. The exact diffusion solution is applicable to non-symmetric left-stochastic combination matrices, while many earlier developments on exact consensus implementations are limited to doubly-stochastic matrices; these latter matrices impose stringent constraints on the network topology. The derivation of the exact diffusion strategy in this work relies on reformulating the aggregate optimization problem as a penalized problem and resorting to a diagonally-weighted incremental construction. Detailed stability and convergence analyses are pursued in Part II and are facilitated by examining the evolution of the error dynamics in a transformed domain. Numerical simulations illustrate the theoretical conclusions.

研究动机与目标

• 开发一种分布式优化策略，使其能够对一大类左随机组合策略实现精确收敛。
• 克服现有一致性与扩散策略的局限性，这些策略由于结构不对称性仅收敛至真实最小值的 O(μ²) 邻域。
• 实现在无需双随机或右随机矩阵的条件下实现精确收敛，从而放宽对网络拓扑的约束。
• 建立一个支持非对称网络拓扑的框架，同时保持稳定性和快速收敛。
• 为一类新型分布式算法奠定理论基础，其性能优于现有方法（如 EXTRA）

提出的方法

• 通过将整体优化问题重新表述为惩罚问题，以强制实现精确收敛，推导出该算法。
• 采用对角加权的增量构造方法，以平衡更新动态并消除偏差。
• 该方法使用左随机组合矩阵，且不要求其为双随机矩阵，从而在网络设计中提供了更大的灵活性。
• 在变换后的误差域中进行收敛性分析，以研究误差动态的演化。
• 通过第二部分的稳定性与收敛性分析，利用特征多项式的 Jury 稳定性准则对误差递推关系进行分析，验证该方法。
• 该算法设计为保持与扩散方法类似的对称更新特性，但实现了精确收敛，而标准扩散或一致性方法则不具备此特性。

实验结果

研究问题

• RQ1 是否存在一种分布式优化算法，可在不依赖双随机组合矩阵的条件下实现精确收敛？
• RQ2 所提出的 Exact Diffusion 策略在非对称网络拓扑下如何保持稳定性和收敛性能？
• RQ3 使用左随机矩阵与双随机矩阵对收敛偏差和稳定性有何影响？
• RQ4 Exact Diffusion 算法在变换域中的误差动态行为如何，其收敛速率由什么决定？
• RQ5 该算法是否可证明对任意步长 μ 均稳定且收敛，还是存在固有局限性？

主要发现

• Exact Diffusion 算法可精确收敛至真实全局最小值 $ w^o $，消除了标准一致性与扩散方法中固有的 O(μ²) 偏差。
• 该方法适用于非对称左随机组合矩阵，从而消除了双随机矩阵对网络拓扑施加的严格约束。
• 第二部分的稳定性与收敛性分析表明，与 EXTRA 算法相比，Exact Diffusion 具有更宽的稳定性范围和更优的收敛性能。
• 通过 Jury 稳定性准则对一个七阶特征多项式进行分析，证明系统对所有步长 μ 均不稳定，表明并非所有 μ 值都能保证收敛。
• 所有稳定性条件（Jury 准则）的交集为空集，证明在测试范围内不存在任何 μ 值能使所有条件同时满足，意味着系统在该范围内对任意 μ 均不稳定。
• 分析确认，特征值 λ = 1 不会影响收敛性，因为初始条件不影响结果，系统的稳定性完全由多项式 D(λ) 的根决定。