[论文解读] LocalNewton: Reducing Communication Bottleneck for Distributed Learning

Vipul Gupta, Avishek Ghosh+4 more|arXiv (Cornell University)|May 16, 2021

Stochastic Gradient Optimization Techniques参考文献 47被引用 4

一句话总结

该论文提出 LocalNewton，一种分布式二阶优化算法，通过允许工作者在与主节点同步前执行多次本地牛顿步长，从而减少通信开销。在 AWS Lambda 上，其通信轮次少于最先进方法的 60%，端到端训练时间少于 40%，且具备自适应变体，可动态减少本地迭代次数以优化收敛性。

ABSTRACT

To address the communication bottleneck problem in distributed optimization within a master-worker framework, we propose LocalNewton, a distributed second-order algorithm with local averaging. In LocalNewton, the worker machines update their model in every iteration by finding a suitable second-order descent direction using only the data and model stored in their own local memory. We let the workers run multiple such iterations locally and communicate the models to the master node only once every few (say L) iterations. LocalNewton is highly practical since it requires only one hyperparameter, the number L of local iterations. We use novel matrix concentration-based techniques to obtain theoretical guarantees for LocalNewton, and we validate them with detailed empirical evaluation. To enhance practicability, we devise an adaptive scheme to choose L, and we show that this reduces the number of local iterations in worker machines between two model synchronizations as the training proceeds, successively refining the model quality at the master. Via extensive experiments using several real-world datasets with AWS Lambda workers and an AWS EC2 master, we show that LocalNewton requires fewer than 60% of the communication rounds (between master and workers) and less than 40% of the end-to-end running time, compared to state-of-the-art algorithms, to reach the same training~loss.

研究动机与目标

• 为解决分布式优化中的通信瓶颈，特别是在服务器无服务器计算等高延迟环境中的问题。
• 设计一种实用的二阶方法，在不牺牲收敛速度的前提下最小化通信轮次。
• 开发一种自适应方案，根据训练进度动态调整本地迭代次数。
• 利用矩阵集中技术提供理论保证，证明在本地平均下算法的收敛性。
• 在真实世界数据集上展示显著的端到端训练时间和通信轮次减少。

提出的方法

• LocalNewton 在每个工作者上仅使用本地数据和模型参数执行多次本地牛顿步长，从而减少对主节点-工作者频繁同步的需求。
• 该算法在每轮通信中使用固定数量 $ L $ 的本地迭代，$ L $ 作为单一超参数选择。
• 通过新颖的矩阵集中技术建立理论收敛性，证明算法收敛至全局最小值附近的小范数球内。
• 一种自适应变体 Adaptive LocalNewton 根据观测到的损失变化随时间减少 $ L $，最终在 $ L=1 $ 时切换至 GIANT。
• 各工作者通过回溯线搜索计算步长，以确保下降性和稳定性。
• 该方法在 100 个工作者的 AWS Lambda 上进行评估，使用真实世界数据集，包括 w8a、covtype、EPSILON、a9a 和 ijcnn1。

实验结果

研究问题

• RQ1 具有本地平均的二阶优化方法是否能显著减少分布式学习中的通信轮次？
• RQ2 本地迭代次数 $ L $ 的选择如何影响收敛性和通信效率？
• RQ3 对 $ L $ 的自适应策略是否能在高延迟环境中提升模型质量并减少训练时间？
• RQ4 LocalNewton 在无服务器环境中是否优于最先进的一阶和二阶方法，实现更好的端到端性能？
• RQ5 在本地平均和有限通信条件下，LocalNewton 的理论收敛行为如何？

主要发现

• 自适应 LocalNewton 在 AWS Lambda 上实现的通信轮次少于最先进算法达到相同训练损失所需轮次的 60%。
• LocalNewton 在 AWS Lambda 上的端到端训练时间减少至基线方法的 40% 以下，直接归因于更少的通信轮次。
• 在所有测试数据集上，自适应 LocalNewton 从初始值 3 逐步减少 $ L $，最终在 $ L=1 $ 时切换至 GIANT。
• 该算法通过本地利用二阶信息实现更快收敛，使模型在极少通信下快速逼近最优解。
• 实证结果表明，在五个真实世界数据集（包括 w8a、covtype、EPSILON、a9a 和 ijcnn1）上，相同工作者数量和正则化条件下，性能持续提升。
• 理论分析证实，LocalNewton 收敛至全局最小值附近小半径的范数球内，验证了其作为有效初始化策略的作用。