[論文レビュー] Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks

Zhishuai Guo, Mingrui Liu+4 more|arXiv (Cornell University)|May 5, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークを用いた確率的AUC最大化のための通信効率の高い分散アルゴリズムCoDAを提案する。非凸凸最小最大化再定式化と、局所的なプライマル・デュアル更新を伴う定期的なモデル平均化を活用することで、通信ラウンド数を削減しながら線形スループットを維持し、理論的・実践的にナーブな並列化よりも通信複雑度を低くする。

ABSTRACT

In this paper, we study distributed algorithms for large-scale AUC maximization with a deep neural network as a predictive model. Although distributed learning techniques have been investigated extensively in deep learning, they are not directly applicable to stochastic AUC maximization with deep neural networks due to its striking differences from standard loss minimization problems (e.g., cross-entropy). Towards addressing this challenge, we propose and analyze a communication-efficient distributed optimization algorithm based on a {\it non-convex concave} reformulation of the AUC maximization, in which the communication of both the primal variable and the dual variable between each worker and the parameter server only occurs after multiple steps of gradient-based updates in each worker. Compared with the naive parallel version of an existing algorithm that computes stochastic gradients at individual machines and averages them for updating the model parameters, our algorithm requires a much less number of communication rounds and still achieves a linear speedup in theory. To the best of our knowledge, this is the extbf{first} work that solves the {\it non-convex concave min-max} problem for AUC maximization with deep neural networks in a communication-efficient distributed manner while still maintaining the linear speedup property in theory. Our experiments on several benchmark datasets show the effectiveness of our algorithm and also confirm our theory.

研究の動機と目的

• AUCの非分解性に起因する、深層ニューラルネットワークを用いた分散AUC最大化における高い通信コストを軽減すること。
• 通信ラウンド数を大幅に削減しながら、線形スループットを維持する分散最適化アルゴリズムを設計すること。
• AUC最大化に起因する非凸凸最小最大化問題を、通信効率の高い方法で解くこと。
• 既存の単一マシンAUC最適化手法を、理論的保証を伴うスケーラブルな分散環境に拡張すること。

提案手法

• AUC最大化の非凸凸最小最大化再定式化に基づく、通信効率の高い分散アルゴリズムCoDAを提案する。
• 定期的に更新される正則化子を用いたプロキシマルプライマル・デュアルフレームワークを採用し、正則化された最小最大化部分問題を解く。
• 各ワーカーで局所的な確率的プライマル・デュアル更新を実行した後、モデルおよびデュアル変数をまれにグローバルに平均化する。
• 通信ラウンド間の固定間隔Iを導入し、局所更新の深さと通信頻度のバランスを取る。
• 通信オーバーヘッドを低減しながら収束保証を維持するため、定期的なモデル平均化を適用する。
• 理論的分析により、ポリャク＝ロジャスエフイッチ（PL）条件の下で通信複雑度が低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散型の深層学習アルゴリズムが、通信ラウンド数を最小限に抑えつつ線形スループットを達成できるか？
• RQ2 通信量を最小限に抑える分散環境において、AUCの非分解性はどのように扱えるか？
• RQ3 プライマル・デュアル更新と定期的平均化を用いた分散AUC最大化アルゴリズムの理論的通信複雑度は何か？
• RQ4 提案手法は、ナーブな並列化と比較して収束性および一般化性能を維持できるか？
• RQ5 モデル品質を損なわず、複数のマシンに効率的にスケーリングできるか？

主な発見

• CoDAは通信複雑度 $ O(1/( u^{3/2} u^{1/2})) $ を達成し、ナーブな並列化（NP-PPD-SG）の $ O(1/(K u^2 u)) $ より顕著に低い。
• 理論的には線形スループットを維持し、特定の領域ではマシン数 $ K $ の要因により反復複雑度が $ K $ 倍低減される。
• ImageNet、CIFAR-100、CIFAR-10における実験で、CoDAはAUCおよび通信効率の両面でベースライン手法を上回る。
• 特にデータの不均衡な状況下でも、通信ラウンド数を減らしながらより速い収束と優れたAUC性能を達成する。
• 実験結果は理論的分析を裏付け、異なる正例クラス比において安定した収束性と頑健性を示す。
• 後段階での適応的間隔 $ I_s = I_0 imes 3^{(s-1)} $ の使用により、性能を劣化させることなく通信量をさらに削減できる。