[论文解读] Balancing Communication and Computation in Distributed Optimization

Albert S. Berahas, Raghu Bollapragada+2 more|arXiv (Cornell University)|Sep 9, 2017

Distributed Control Multi-Agent Systems参考文献 59被引用 7

一句话总结

本文提出了一种自适应代价框架，通过显式分解通信与计算组件，在分布式优化中平衡通信与计算开销，从而实现可定制的算法。作者提出了 NEAR-DGD+——一种精确的一阶方法，通过自适应增加一致性步骤实现对最优解的收敛，在二次和逻辑回归问题上，其理论与实践性能均优于标准 DGD。

ABSTRACT

Methods for distributed optimization have received significant attention in recent years owing to their wide applicability in various domains. A distributed optimization method typically consists of two key components: communication and computation. More specifically, at every iteration (or every several iterations) of a distributed algorithm, each node in the network requires some form of information exchange with its neighboring nodes (communication) and the computation step related to a (sub)-gradient (computation). The standard way of judging an algorithm via only the number of iterations overlooks the complexity associated with each iteration. Moreover, various applications deploying distributed methods may prefer a different composition of communication and computation. Motivated by this discrepancy, in this work we propose an adaptive cost framework which adjusts the cost measure depending on the features of various applications. We present a flexible algorithmic framework, where communication and computation steps are explicitly decomposed to enable algorithm customization for various applications. We apply this framework to the well-known distributed gradient descent (DGD) method, and show that the resulting customized algorithms, which we call DGD$^t$, NEAR-DGD$^t$ and NEAR-DGD$^+$, compare favorably to their base algorithms, both theoretically and empirically. The proposed NEAR-DGD$^+$ algorithm is an exact first-order method where the communication and computation steps are nested, and when the number of communication steps is adaptively increased, the method converges to the optimal solution. We test the performance and illustrate the flexibility of the methods, as well as practical variants, on quadratic functions and classification problems that arise in machine learning, in terms of iterations, gradient evaluations, communications and the proposed cost framework.

研究动机与目标

• 为解决仅以迭代次数评判分布式优化算法的局限性，该评判方式忽略了每次迭代的通信与计算成本。
• 开发一种灵活的算法框架，可根据应用特定的硬件与网络约束，自定义通信与计算开销。
• 通过在每次梯度评估中引入多个一致性步骤，提升收敛质量，尤其在通信成本较低的环境中。
• 设计一种精确的一阶方法，可收敛至最优解，而标准 DGD 仅收敛至解的邻域。
• 在二次与逻辑回归问题上对框架进行实验验证，证明在所提出的代价度量下性能更优。

提出的方法

• 提出一种自适应代价框架，利用与应用相关的参数对通信与计算成本进行加权，实现超越迭代次数的统一性能评估。
• 将标准 DGD 显式分解为通信与计算步骤，形成 DGD_t、NEAR-DGD_t 与 NEAR-DGD+ 算法族。
• 提出 NEAR-DGD+，一种精确的一阶方法，其中一致性与梯度步骤嵌套，且一致性步骤数量随时间自适应增加。
• 在强凸条件下，对 NEAR-DGD+ 进行线性收敛速率分析，证明其可全局收敛至最优解。
• 通过重新表述分布式问题的一致性约束，实现连通网络中局部更新与邻居通信。
• 将框架应用于二次与逻辑回归问题，跨迭代次数、梯度评估次数、通信次数及所提出的代价度量进行性能测量。

实验结果

研究问题

• RQ1 如何将通信与计算成本有意义地合并为分布式优化的单一性能度量？
• RQ2 显式分解通信与计算步骤是否能带来性能更优且更灵活的分布式算法？
• RQ3 在每次梯度评估中增加一致性步骤数量是否能提升解的质量并促进收敛至最优解？
• RQ4 能否设计一种算法，使其在使用常数步长时精确收敛至最优解，而非收敛至解的邻域？
• RQ5 所提出的框架在真实世界机器学习问题（如逻辑回归）上的实际表现如何？

主要发现

• NEAR-DGD+ 在使用常数步长时可收敛至最优解，而标准 DGD 仅收敛至解的邻域。
• 该方法在强凸函数下实现线性收敛速率，证实了其理论效率。
• 在二次问题中，采用更多一致性步骤的方法（如 NEAR-DGD+(1,1,1000)）在解的精度方面优于标准 DGD 与 NEAR-DGD(1,1,-)。
• 在 mushrooms 数据集（n=10, p=114）上的逻辑回归实验中，NEAR-DGD+ 变体在自适应一致性步骤下实现的相对误差低于 DGD 与 NEAR-DGD(1,1,-)，即使在固定成本预算下亦如此。
• 自适应代价框架表明，NEAR-DGD(1,1,-) 在固定成本下具有竞争力，但 NEAR-DGD+ 在其他方法出现停滞点后仍持续改进。
• 实证结果证实，增加每次梯度评估的一致性步骤数量可提升解的质量，尤其在通信成本较低的环境中。