[论文解读] Distributed Optimization Over Dependent Random Networks

Adel Aghajan, Behrouz Touri|arXiv (Cornell University)|Oct 5, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文建立了在依赖性随机网络上基于平均的分布式优化的几乎必然收敛性，其中权重矩阵几乎必然为行随机，且在期望下为列随机。主要贡献是一个通用的收敛结果，该结果通过允许网络实现之间的依赖性并稳健地处理链路故障，扩展了先前的工作，同时为分析随机网络中的收敛速率提供了新工具。

ABSTRACT

We study the averaging-based distributed optimization solvers over random networks. We show a general result on the convergence of such schemes using weight-matrices that are row-stochastic almost surely and column-stochastic in expectation for a broad class of dependent weight-matrix sequences. In addition to implying many of the previously known results on this domain, our work shows the robustness of distributed optimization results to link-failure. Also, it provides a new tool for synthesizing distributed optimization algorithms. {To prove our main theorem, we establish new results on the rate of convergence analysis of averaging dynamics over (dependent) random networks. These secondary results, along with the required martingale-type results to establish them, might be of interest to broader research endeavors in distributed computation over random networks.

研究动机与目标

• 建立时间变、依赖性随机网络上分布式优化算法的收敛性，其中网络链路可能随时间失效或变化。
• 通过放松对权重矩阵的独立同分布假设，推广现有结果，以允许网络拓扑的时间依赖性。
• 为分布式优化提供一个稳健的框架，即使在链路故障和非独立同分布的网络动态下依然有效。
• 为分析依赖性随机网络中平均动态的收敛速率，开发新的分析工具。
• 在较弱的随机假设下，统一并扩展先前关于分布式平均和优化的研究结果。

提出的方法

• 作者采用一种新颖的鞅型方法，分析随机网络上的分布式平均动态，以处理依赖的权重序列。
• 他们引入了一种新的网络直径度量，记为 diam(A)，定义为所有节点对之间行元素绝对差值之和的一半的最大值。
• 收敛性分析依赖于利用网络的直径和行随机性，对分歧度量 d(x)（定义为任意两个代理状态之间的最大范数差）进行有界。
• 一个关键技术工具是涉及随机变量乘积的递归期望不等式，通过归纳法和条件数学期望界证明。
• 该方法可扩展至具有任意控制输入的系统，通过将状态演化分解为平均和梯度下降两部分。
• 该证明利用了列随机性在期望下成立的性质，即即使单个矩阵不是双随机，期望状态仍会收敛到平均值。

实验结果

研究问题

• RQ1 当网络拓扑为随机且具有时间依赖性时，基于平均的分布式优化是否能实现几乎必然收敛？
• RQ2 当权重矩阵仅为几乎必然行随机且在期望下列随机，而非双随机时，收敛结果是否仍然成立？
• RQ3 收敛速率如何依赖于网络结构和随机权重矩阵的依赖结构？
• RQ4 该框架能否扩展以处理分布式优化设置中任意控制输入（如梯度下降步长）？
• RQ5 研究依赖性随机网络中的收敛性需要哪些新的分析工具，它们与独立同分布设置下的工具有何不同？

主要发现

• 当权重矩阵几乎必然为行随机且在期望下为列随机时，基于平均的分布式优化求解器会以几乎必然收敛到全局最优解。
• 该收敛结果对网络链路故障具有鲁棒性，因为其不要求权重矩阵为双随机或独立同分布。
• 本文建立了分歧度量 d(x) 的新界，以网络直径 diam(A) 表示，表明 d(Ax) ≤ diam(A) d(x)。
• 为依赖性随机网络上的平均动态开发了新的收敛速率分析，可能对分布式计算的更广泛应用具有价值。
• 作者证明了一个涉及条件数学期望下随机变量乘积的关键不等式，使得非独立同分布权重序列的分析成为可能。
• 该框架统一并推广了先前关于分布式优化和平均的研究结果，包括对广播和推送求和算法的研究，在一个共同的理论框架下。