[论文解读] Gradient Diversity: a Key Ingredient for Scalable Distributed Learning

Dong Yin, Ashwin Pananjady+4 more|arXiv (Cornell University)|Jun 18, 2017

Stochastic Gradient Optimization Techniques参考文献 48被引用 20

一句话总结

本文提出梯度多样性是分布式小批量SGD可扩展性和泛化性能的关键决定因素。证明了当小批量大小受数据相关的多样性度量限制时，收敛性和泛化性能可与串行SGD匹配；并建立缺乏梯度多样性将导致加速饱和和泛化性能下降的理论关系，该关系解释了诸如Dropout和量化等启发式方法的机理。

ABSTRACT

It has been experimentally observed that distributed implementations of mini-batch stochastic gradient descent (SGD) algorithms exhibit speedup saturation and decaying generalization ability beyond a particular batch-size. In this work, we present an analysis hinting that high similarity between concurrently processed gradients may be a cause of this performance degradation. We introduce the notion of gradient diversity that measures the dissimilarity between concurrent gradient updates, and show its key role in the performance of mini-batch SGD. We prove that on problems with high gradient diversity, mini-batch SGD is amenable to better speedups, while maintaining the generalization performance of serial (one sample) SGD. We further establish lower bounds on convergence where mini-batch SGD slows down beyond a particular batch-size, solely due to the lack of gradient diversity. We provide experimental evidence indicating the key role of gradient diversity in distributed learning, and discuss how heuristics like dropout, Langevin dynamics, and quantization can improve it.

研究动机与目标

• 解决大规模小批量分布式SGD中观察到的加速饱和和泛化性能下降问题。
• 将并发梯度之间的高相似性（低多样性）识别为性能退化的主要原因。
• 建立一个基于数据的最优小批量大小理论边界，以保持收敛性和泛化性能。
• 将算法启发式方法（如Dropout和Langevin动力学）与梯度多样性提升联系起来。
• 通过基于梯度多样性的算法稳定性，为小批量SGD提供泛化边界。

提出的方法

• 将梯度多样性定义为数据点间梯度差异的期望内积，用于衡量并发更新之间的不相似性。
• 证明当小批量大小与基于数据推导出的多样性边界成比例时，小批量SGD的收敛速率与串行SGD相当（至多相差常数因子）。
• 推导最坏情况下的下界，表明当小批量大小超过多样性边界时，即使在凸设置下，收敛性能也会下降。
• 利用梯度多样性分析小批量SGD的算法稳定性，表明当小批量大小低于多样性阈值时，其稳定性与单样本SGD相当。
• 将多样性框架应用于分析Dropout、量化和随机梯度Langevin动力学，表明它们能提升有效梯度多样性。
• 使用概率和几何论证，为广义线性模型和稀疏冲突问题的梯度多样性建立边界。

实验结果

研究问题

• RQ1 为何在分布式设置下，小批量SGD在大批次大小时会出现加速饱和和泛化性能差的问题？
• RQ2 梯度多样性与小批量SGD收敛速率之间存在何种理论关系？
• RQ3 能否推导出一个基于数据的批量大小边界，以确保收敛性和泛化性能与串行SGD相当？
• RQ4 常见的深度学习启发式方法（如Dropout和量化）如何影响梯度多样性？
• RQ5 是否存在一个依赖于梯度多样性的小批量SGD泛化稳定性保证？

主要发现

• 当小批量大小受数据相关的多样性度量限制时，小批量SGD的收敛速率与串行SGD相当（至多相差常数因子）。
• 对于凸和非凸问题，最优小批量大小均受同一基于多样性的阈值限制，且该阈值是紧致且依赖于数据的。
• 当小批量大小超过多样性边界时，即使在凸设置下，由于缺乏梯度多样性，收敛速度也会变慢。
• 只要小批量大小保持在多样性阈值以下，小批量SGD的泛化性能即可与串行SGD保持一致。
• Dropout和随机梯度Langevin动力学能提升有效梯度多样性，从而解释了它们在大批次训练中的经验成功。
• 对于具有i.i.d.子高斯特征的广义线性模型，梯度多样性以高概率下界于与特征数量成比例的项。