[论文解读] Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks

Zhishuai Guo, Mingrui Liu+4 more|arXiv (Cornell University)|May 5, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用 6

一句话总结

本文提出 CoDA，一种用于使用深度神经网络进行随机 AUC 最大化的通信高效分布式算法。通过利用非凸-凸极小极大重 formulation 和带有本地原始-对偶更新的周期性模型平均，CoDA 在保持线性加速的同时减少了通信轮次，在理论上和实践中均实现了比简单并行化更低的通信复杂度。

ABSTRACT

In this paper, we study distributed algorithms for large-scale AUC maximization with a deep neural network as a predictive model. Although distributed learning techniques have been investigated extensively in deep learning, they are not directly applicable to stochastic AUC maximization with deep neural networks due to its striking differences from standard loss minimization problems (e.g., cross-entropy). Towards addressing this challenge, we propose and analyze a communication-efficient distributed optimization algorithm based on a {\it non-convex concave} reformulation of the AUC maximization, in which the communication of both the primal variable and the dual variable between each worker and the parameter server only occurs after multiple steps of gradient-based updates in each worker. Compared with the naive parallel version of an existing algorithm that computes stochastic gradients at individual machines and averages them for updating the model parameters, our algorithm requires a much less number of communication rounds and still achieves a linear speedup in theory. To the best of our knowledge, this is the extbf{first} work that solves the {\it non-convex concave min-max} problem for AUC maximization with deep neural networks in a communication-efficient distributed manner while still maintaining the linear speedup property in theory. Our experiments on several benchmark datasets show the effectiveness of our algorithm and also confirm our theory.

研究动机与目标

• 为解决由于 AUC 的不可分解性导致的深度神经网络分布式 AUC 最大化中的高通信成本。
• 设计一种分布式优化算法，在显著减少通信轮次的同时保持线性加速。
• 以通信高效的方式求解 AUC 最大化中产生的非凸-凸极小极大问题。
• 将现有的单机 AUC 优化方法扩展到可扩展的分布式设置，并提供理论保证。

提出的方法

• 提出 CoDA，一种基于 AUC 最大化非凸-凸极小极大重 formulation 的通信高效分布式算法。
• 采用带有周期性更新正则化项的近端原始-对偶框架，以求解正则化极小极大子问题。
• 在每个工作节点上执行本地随机原始-对偶更新，随后对模型和对偶变量进行不频繁的全局平均。
• 引入固定间隔 I 以平衡本地更新深度与通信频率。
• 应用周期性模型平均以减少通信开销，同时保持收敛性保证。
• 理论分析表明，在 Polyak-Łojasiewicz (PL) 条件下可实现更低的通信复杂度。

实验结果

研究问题

• RQ1 用于 AUC 最大化的分布式深度学习算法是否能在最小化通信轮次的同时实现线性加速？
• RQ2 在通信最少的分布式设置中，如何解决 AUC 的不可分解性问题？
• RQ3 使用原始-对偶更新和周期性平均的分布式 AUC 最大化算法的理论通信复杂度是多少？
• RQ4 与简单并行化相比，所提方法是否保持了收敛性和泛化性能？
• RQ5 该算法是否能在不牺牲模型质量的前提下在多台机器上高效扩展？

主要发现

• CoDA 实现了 $ O(1/( u^{3/2} u^{1/2})) $ 的通信复杂度，显著低于朴素并行版本（NP-PPD-SG）的 $ O(1/(K u^2 u)) $。
• 该算法在理论上保持了线性加速，在某些场景下将迭代复杂度降低了 $ K $ 倍（$ K $ 为机器数量）。
• 在 ImageNet、CIFAR-100 和 CIFAR-10 上的实验表明，CoDA 在 AUC 和通信效率方面均优于基线方法。
• 该算法在更少的通信轮次下实现了更快的收敛速度和更好的 AUC 表现，尤其在数据不平衡情况下表现更优。
• 实验结果证实了理论分析，显示出在不同正类比例下稳定收敛和强鲁棒性。
• 在后期采用自适应间隔 $ I_s = I_0 imes 3^{(s-1)} $ 进一步减少了通信量，且未降低性能。