[论文解读] EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback

Peter Richtárik, Igor Sokolov+1 more|arXiv (Cornell University)|Jun 9, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 40

一句话总结

EF21 引入了一种基于马尔可夫的误差反馈机制，用于分布式优化中的有偏梯度压缩，在标准假设下实现更快的收敛，并在经验性能上优于以往的 EF 方法。

ABSTRACT

Error feedback (EF), also known as error compensation, is an immensely popular convergence stabilization mechanism in the context of distributed training of supervised machine learning models enhanced by the use of contractive communication compression mechanisms, such as Top-$k$. First proposed by Seide et al (2014) as a heuristic, EF resisted any theoretical understanding until recently [Stich et al., 2018, Alistarh et al., 2018]. However, all existing analyses either i) apply to the single node setting only, ii) rely on very strong and often unreasonable assumptions, such global boundedness of the gradients, or iterate-dependent assumptions that cannot be checked a-priori and may not hold in practice, or iii) circumvent these issues via the introduction of additional unbiased compressors, which increase the communication cost. In this work we fix all these deficiencies by proposing and analyzing a new EF mechanism, which we call EF21, which consistently and substantially outperforms EF in practice. Our theoretical analysis relies on standard assumptions only, works in the distributed heterogeneous data setting, and leads to better and more meaningful rates. In particular, we prove that EF21 enjoys a fast $O(1/T)$ convergence rate for smooth nonconvex problems, beating the previous bound of $O(1/T^{2/3})$, which was shown a bounded gradients assumption. We further improve this to a fast linear rate for PL functions, which is the first linear convergence result for an EF-type method not relying on unbiased compressors. Since EF has a large number of applications where it reigns supreme, we believe that our 2021 variant, EF21, can a large impact on the practice of communication efficient distributed learning.

研究动机与目标

• 在分布式、过参数化模型中，阐明高效通信优化的必要性。
• 提出一种适用于异构数据且不依赖强假设的新误差反馈机制。
• 建立理论保证：在标准的平滑性和下界假设下获得更优的收敛速率，在 PL 条件下实现线性收敛。
• 将 EF21 扩展为 EF21+，在迭代过程中自适应地在压缩器之间进行选择以提升性能。
• 在合成数据和深度学习实验中展示相对于经典 EF 的经验优势。

提出的方法

• 引入马尔可夫压缩器以创建随时间变得更好的估计量，从而实现稳定的有偏压缩。
• 将 EF21 定义为一种分布式优化方法，其中每个节点对局部梯度应用有偏压缩器并通信压缩残差。
• 在标准假设（L-光滑和下界）下证明平滑非凸目标的 O(1/T) 收敛。
• 在 Polyak-Lojasiewicz（PL）条件下证明 EF21 的线性收敛。
• 提出 EF21+ 作为一种混合结构，使节点能够在每次迭代基上选择原始压缩器和马尔可夫压缩器之间的更好者。
• 提供对随机梯度的扩展并讨论与原始 EF 方法的关系。

实验结果

研究问题

• RQ1 在不需要无偏压缩器的情况下，EF21 能否在标准光滑性和下界假设下实现更快的非凸收敛速率？
• RQ2 在不依赖额外无偏压缩器的情况下，EF21 是否在 Polyak-Lojasiewicz 条件下表现出线性收敛？
• RQ3 在实践中，尤其是在分布式异构数据上，EF21 与经典误差反馈（EF）相比如何？
• RQ4 EF21+ 变体是否通过按节点自适应选择压缩器而提供实际收益？
• RQ5 如何将 EF21 扩展到随机梯度设置并保持理论保证？

主要发现

• EF21 在标准假设下实现了平滑非凸问题的 O(1/T) 收敛速率。
• EF21 在满足 Polyak-Lojasiewicz 条件的函数上实现了快速线性收敛。
• EF21+ 在保持理论保证的同时，通过在每个节点选择更优的压缩器，通常能提升实际性能。
• 经验结果表明 EF21 在合成数据和深度学习基准测试中始终显著优于原始 EF 方法，使得可以使用更大的学习率。
• 分析仅需要标准假设（L-光滑和下界），不依赖有界梯度或迭代相关界。
• EF21 和 EF21+ 可扩展到随机梯度设置，结合所讨论的适配。