[论文解读] A Guide Through the Zoo of Biased SGD

Yury Demidovich, Grigory Malinovsky+2 more|arXiv (Cornell University)|May 25, 2023

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一套统一的理论框架，用于分析带有偏差梯度估计器的随机梯度下降（SGD），建立了现有假设之间的联系，并提出了一组更弱但能涵盖所有先前假设的新条件。该框架在凸与非凸设置下均提供了紧致的收敛保证，表明在通信受限或黑箱优化场景中，偏差估计器在实践中可优于无偏估计器。

ABSTRACT

Stochastic Gradient Descent (SGD) is arguably the most important single algorithm in modern machine learning. Although SGD with unbiased gradient estimators has been studied extensively over at least half a century, SGD variants relying on biased estimators are rare. Nevertheless, there has been an increased interest in this topic in recent years. However, existing literature on SGD with biased estimators (BiasedSGD) lacks coherence since each new paper relies on a different set of assumptions, without any clear understanding of how they are connected, which may lead to confusion. We address this gap by establishing connections among the existing assumptions, and presenting a comprehensive map of the underlying relationships. Additionally, we introduce a new set of assumptions that is provably weaker than all previous assumptions, and use it to present a thorough analysis of BiasedSGD in both convex and non-convex settings, offering advantages over previous results. We also provide examples where biased estimators outperform their unbiased counterparts or where unbiased versions are simply not available. Finally, we demonstrate the effectiveness of our framework through experimental results that validate our theoretical findings.

研究动机与目标

• 为解决现有偏差SGD理论分析中假设脱节的问题，即依赖于彼此孤立的假设。
• 建立先前关于偏差梯度估计器假设之间关系的全面图谱。
• 提出一组新假设，其严格弱于所有先前假设，且能统一涵盖所有已有条件。
• 在凸与非凸设置下，为偏差SGD提供紧致的收敛与复杂度边界。
• 在真实世界场景中，展示偏差估计器相较于无偏估计器的实证优势。

提出的方法

• 引入一类新假设，其严格弱于所有先前关于偏差梯度估计器的假设。
• 通过数学证明，建立现有假设类别（如有界偏差、压缩性、绝对压缩）之间的正式关系。
• 利用李雅普诺夫函数与杨不等式等标准技术，推导在新假设类别下偏差SGD的收敛速率。
• 将该框架应用于分析特定偏差估计器，如稀疏化梯度、量化更新与零阶方法。
• 使用误差反馈机制与压缩算子，对通信高效训练中的实际场景进行建模。
• 通过在深度学习与黑箱优化任务上的实验，验证理论发现。

实验结果

研究问题

• RQ1 现有关于偏差梯度估计器的假设之间有何关联？能否在单一理论框架下统一？
• RQ2 能否提出一组新假设，其严格弱于所有先前假设，同时仍能保证收敛？
• RQ3 在何种设置下偏差估计器优于无偏估计器？原因是什么？
• RQ4 在新假设下，非凸与凸设置中偏差SGD的最紧收敛速率是多少？
• RQ5 所提出的框架能否解释如量化SGD或零阶优化等实用方法的成功？

主要发现

• 所提出的假设类别严格弱于所有先前假设，从而具备更广泛的应用范围，并支持更紧致的收敛分析。
• 该框架证明，在某些设置下（尤其是压缩场景中），偏差估计器可实现比无偏估计器更优的收敛速率。
• 稀疏化与量化梯度估计器（在分布式训练中常见）满足新假设，因此在相同条件下被保证收敛。
• 在新框架下，带有偏差梯度估计器的零阶方法获得形式化支持，解释了其在黑箱优化中经验成功的根源。
• 实证结果证实，如使用误差反馈的偏差SGD变体，在深度学习任务中收敛速度与最终精度方面均优于无偏基线方法。
• 理论分析表明，在新假设下，偏差SGD的最坏情况复杂度与现有边界相当或更优。