[论文解读] Faster Convergence of Local SGD for Over-Parameterized Models

Tiancheng Qin, S. Rasoul Etesami+1 more|arXiv (Cornell University)|Jan 30, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文在数据异构条件下，针对过参数化模型中的局部SGD，建立了更快的收敛速率，证明了强凸损失函数下呈指数收敛（$\mathcal{O}(\exp(-T))$），在温和的数据相似性假设下，一般凸损失函数的收敛速率为$\mathcal{O}(1/T)$，显著优于先前$\mathcal{O}(\exp(-T/K))$的界，且在一般凸/非凸情况下此前无已知收敛速率。

ABSTRACT

Modern machine learning architectures are often highly expressive. They are usually over-parameterized and can interpolate the data by driving the empirical loss close to zero. We analyze the convergence of Local SGD (or FedAvg) for such over-parameterized models in the heterogeneous data setting and improve upon the existing literature by establishing the following convergence rates. For general convex loss functions, we establish an error bound of $Ø(1/T)$ under a mild data similarity assumption and an error bound of $Ø(K/T)$ otherwise, where $K$ is the number of local steps and $T$ is the total number of iterations. For non-convex loss functions we prove an error bound of $Ø(K/T)$. These bounds improve upon the best previous bound of $Ø(1/\sqrt{nT})$ in both cases, where $n$ is the number of nodes, when no assumption on the model being over-parameterized is made. We complete our results by providing problem instances in which our established convergence rates are tight to a constant factor with a reasonably small stepsize. Finally, we validate our theoretical results by performing large-scale numerical experiments that reveal the convergence behavior of Local SGD for practical over-parameterized deep learning models, in which the $Ø(1/T)$ convergence rate of Local SGD is clearly shown.

研究动机与目标

• 解决在数据异构条件下，过参数化模型中局部SGD理论收敛保证方面的空白。
• 解释在大规模深度学习中，局部SGD相比小批量SGD为何表现出更快的实验收敛速度。
• 在现代过参数化模型中常见的插值假设下，建立更紧致的收敛速率。
• 通过在真实和合成数据上的大规模数值实验，验证理论发现。
• 通过在小步长方案下的问题实例，证明所推导边界的紧致性。

提出的方法

• 在插值假设下分析局部SGD，即经验损失可被降低至零。
• 提出一种新颖的分析框架，结合一致性误差$V_t$与梯度变化$h_t$以控制收敛性。
• 对误差$e_t = f(x^t) - f(x^*)$使用伸缩和（telescoping sum）方法推导累积界。
• 采用步长$\eta = \frac{1}{3KL\rho}$以平衡梯度误差与一致性误差项。
• 利用光滑性与有界梯度假设，控制局部步长间误差的传播。
• 通过递归展开并利用$\rho \geq 1$的性质，建立$V_t$的界，从而简化最终误差表达式。

实验结果

研究问题

• RQ1 在数据异构条件下，局部SGD能否在过参数化模型中实现比小批量SGD更快的收敛？
• RQ2 在过参数化设置下，局部SGD在强凸、一般凸和非凸情形下的最紧可能收敛速率是什么？
• RQ3 数据异构性如何影响收敛性？温和的数据相似性假设能否改善收敛速率？
• RQ4 所推导的收敛速率是否紧致？能否通过问题实例实现匹配？
• RQ5 理论边界是否可在大规模深度学习场景中通过实证方法验证？

主要发现

• 对于强凸损失函数，局部SGD实现了$\mathcal{O}(\exp(-T))$的指数收敛速率，优于先前的$\mathcal{O}(\exp(-T/K))$。
• 在温和的数据相似性假设下，一般凸损失函数的收敛速率为$\mathcal{O}(1/T)$；否则为$\mathcal{O}(K/T)$。
• 对于非凸损失函数，本文证明了$\mathcal{O}(K/T)$的收敛速率，这在过参数化设置下此前未知。
• 通过在小步长方案下的构造问题实例，表明理论边界在常数因子内是紧致的。
• 在真实和合成数据上的大规模数值实验验证了局部SGD在实际过参数化深度学习模型中理论收敛行为的正确性。
• 分析表明，在异构设置下，过参数化可缓解客户端漂移问题，从而实现更快收敛。