[论文解读] Distributed Optimization for Over-Parameterized Learning

Chi Zhang, Qianxiao Li|arXiv (Cornell University)|Jun 14, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用 4

一句话总结

本文提出了一种用于过参数化学习的分布式优化框架，允许每个节点在与服务器通信前执行任意数量的本地更新——甚至无限次。在本地最优集相交的关键假设下，该方法实现了减少通信量的收敛，显著降低了凸优化和深度学习场景下的通信成本。

ABSTRACT

Distributed optimization often consists of two updating phases: local optimization and inter-node communication. Conventional approaches require working nodes to communicate with the server every one or few iterations to guarantee convergence. In this paper, we establish a completely different conclusion that each node can perform an arbitrary number of local optimization steps before communication. Moreover, we show that the more local updating can reduce the overall communication, even for an infinity number of steps where each node is free to update its local model to near-optimality before exchanging information. The extra assumption we make is that the optimal sets of local loss functions have a non-empty intersection, which is inspired by the over-paramterization phenomenon in large-scale optimization and deep learning. Our theoretical findings are confirmed by both distributed convex optimization and deep learning experiments.

研究动机与目标

• 为解决分布式机器学习中的通信瓶颈，通过允许长时间的本地更新阶段而不牺牲收敛性。
• 探究任意本地优化步数（包括无限步）是否仍能在分布式设置中确保收敛。
• 建立理论与实证条件，以确定增加本地更新次数是否能降低整体通信成本。
• 将深度学习中的过参数化与凸可行性问题联系起来，从而支持新型优化策略。

提出的方法

• 提出一种分布式梯度下降算法，其中每个节点在与服务器通信前执行 $ T_i $ 次本地梯度下降步骤。
• 依赖于交集假设：$ S = \bigcap_{i=1}^m S_i $，其中 $ S_i $ 是局部损失 $ f_i $ 的最优集，确保存在一个共同的最小化点。
• 在凸性和限制强凸性条件下分析收敛性，证明对任意 $ T_i $（包括 $ T_i = \tau $，即无限步）均能收敛。
• 推导出总成本界限，平衡优化与通信，通过优化 $ T $（本地步数）来最小化 $ C_{\text{total}} $。
• 利用收敛速率的渐近分析（线性 vs. 次线性）推导最优 $ T^* $，其取决于本地收敛速度。
• 在凸问题和深度学习（如具有四次损失的癌症数据集）上实证验证该框架，结果表明更高的 $ T_i $ 可显著减少通信次数。

实验结果

研究问题

• RQ1 当每个节点在通信前执行任意数量的本地更新时，分布式优化是否仍能收敛？
• RQ2 在分布式学习中，增加本地更新次数是否总是能降低总通信成本？
• RQ3 在何种条件下，过参数化可实现分布式设置下的通信高效优化？
• RQ4 如何定量平衡本地优化与通信之间的权衡以实现最优性能？
• RQ5 在局部最优集相交假设下，能否放宽经典分布式算法的收敛保证？

主要发现

• 在局部最优集非空相交的假设下，对任意本地更新次数 $ T_i $（包括 $ T_i = \tau $，即无限步）均可保证收敛。
• 对于线性收敛的局部问题（如强凸问题），最优本地步数 $ T^* $ 的尺度为 $ \log(1/r) $，其中 $ r $ 为通信频率。
• 对于次线性收敛问题（如四次损失），$ T^* $ 的尺度为 $ r^{-1/\beta} $，表明收敛越慢，需更多本地步数以最小化总成本。
• 总通信成本 $ C_{\text{total}} $ 通过平衡本地优化速度与通信频率实现最小化，且推导出最优 $ T^* $ 的显式公式。
• 在具有四次损失的癌症数据集上的实验结果证实，更高的 $ T_i $ 显著减少了通信轮次，尤其在梯度衰减呈次线性时效果更明显。
• 该框架提供了一种基于观测到的本地收敛速率自适应调节 $ T $ 的系统性策略，使实际应用中能高效实现通信与优化的权衡。