[论文解读] Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets

Ilqar Ramazanli, Han Nguyen+3 more|arXiv (Cornell University)|Feb 19, 2020

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出 ASD-SVRG，一种用于异构数据环境下分布式随机方差缩减梯度优化的自适应采样策略。通过动态优先选择局部利普希茨常数较高的机器（基于历史梯度估计），该方法降低了对最大梯度利普希茨常数的收敛依赖，实现了更快的收敛速度和更高的稳定性，尤其在大学习率下表现更优。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of \\emph{heterogeneous} functions distributed across several machines with a focus on communication efficiency. In such settings, naively using the classical stochastic gradient descent (SGD) or its variants (e.g., SVRG) with a uniform sampling of machines typically yields poor performance. It often leads to the dependence of convergence rate on maximum Lipschitz constant of gradients across the devices. In this paper, we propose a novel \\emph{adaptive} sampling of machines specially catered to these settings. Our method relies on an adaptive estimate of local Lipschitz constants base on the information of past gradients. We show that the new way improves the dependence of convergence rate from maximum Lipschitz constant to \\emph{average} Lipschitz constant across machines, thereby, significantly accelerating the convergence. Our experiments demonstrate that our method indeed speeds up the convergence of the standard SVRG algorithm in heterogeneous environments.

研究动机与目标

• 解决标准 SVRG 和 SGD 在数据分布显著异质的分布式数据集中收敛性能差的问题。
• 降低收敛速率对各工作者之间最大局部利普希茨常数的依赖，该常数在非独立同分布设置中通常主导性能表现。
• 设计一种自适应采样策略，基于估计的局部梯度变异性选择工作者，而无需事先知晓利普希茨常数。
• 在去中心化或联邦学习类环境中，提升通信效率与优化稳定性，尤其在大学习率下表现更优。

提出的方法

• 提出一种自适应采样机制，根据从历史梯度信息中估计的局部利普希茨常数，为各工作者分配采样概率。
• 引入一种鲁棒的局部利普希茨常数估计技术，无需预先计算或精确的利普希茨值，从而支持在真实场景中的实际部署。
• 设计一种并行通信协议，实现高效的加权采样，同时保持最小通信开销，使得每个工作者仅需知晓自身的权重。
• 将自适应采样集成到 SVRG 框架中，用加权采样方案替代原有的均匀采样，优先选择信息丰富的工作者。
• 采用统计分解方法，从观测数据中估计具有噪声的分类分布，从而实现对采样权重的精确分配。
• 在 PyTorch 中实现该算法，支持凸（线性/逻辑回归）与非凸架构，确保广泛适用性。

实验结果

研究问题

• RQ1 基于局部梯度特性的自适应采样是否能提升异构分布式数据集中 SVRG 的收敛速度？
• RQ2 用自适应采样替代均匀采样是否能降低收敛速率对最大局部利普希茨常数的依赖？
• RQ3 与标准 SVRG 相比，所提出的自适应方法在大学习率下的表现如何？
• RQ4 该自适应采样策略是否能在分布式系统中以极低通信开销高效实现？
• RQ5 该自适应方法在加速优化的同时，是否能保持或提升泛化性能？

主要发现

• 在逻辑回归和线性回归任务中，ASD-SVRG 的收敛速度显著快于标准 SVRG，尤其在训练损失方面，早期迭代中收敛最快。
• 在逻辑回归任务中，ASD-SVRG 达到了 86% 的测试准确率，优于 SVRG 的 83%，同时保持相近的测试损失，表明泛化能力更强。
• 当学习率比 SVRG 高 33 倍时，ASD-SVRG 仍能保持训练稳定，而 SVRG 在此条件下发散。
• 消融实验表明，ASD-SVRG 在所有学习率设置下均优于 SVRG，包括接近 SVRG 最优学习率的设置。
• ASD-SVRG 的收敛速率依赖于平均利普希茨常数而非最大值，从而在异构设置中实现了更优的理论与实证性能。
• 所提出的通信方法实现了高效的加权采样，通信成本极低，支持在大规模分布式系统中实际部署。