[論文レビュー] Gradient Sparsification for Communication-Efficient Distributed Optimization

Jianqiao Wangni, Jialei Wang+2 more|arXiv (Cornell University)|Oct 26, 2017

Stochastic Gradient Optimization Techniques参考文献 28被引用数 207

ひとこと要約

本論文は、分散最適化のために確率的勾配をスパース化する凸的な定式化を導入し、スパース性と分散の分散をバランスさせ、効率的なアルゴリズムと凸問題および非凸問題での実証的検証を行う。

ABSTRACT

Modern large scale machine learning applications require stochastic optimization algorithms to be implemented on distributed computational architectures. A key bottleneck is the communication overhead for exchanging information such as stochastic gradients among different workers. In this paper, to reduce the communication cost we propose a convex optimization formulation to minimize the coding length of stochastic gradients. To solve the optimal sparsification efficiently, several simple and fast algorithms are proposed for approximate solution, with theoretical guaranteed for sparseness. Experiments on $\ell_2$ regularized logistic regression, support vector machines, and convolutional neural networks validate our sparsification approaches.

研究の動機と目的

• distributed stochastic optimization において gradients を sparsify して通信コストを削減しつつ unbiasedness を保つ。
• variance budget の下で sparsity を最適化する convex problem を定式化。
• sparsity ガバナンスを伴う最適スパース化問題を解く高速アルゴリズムを開発。
• convex problems（logistic regression, SVM）および深層ニューラルネットワークでの有効性を実証。
• sparsity と variance のトレードオフに関する理論的洞察を提供。

提案手法

• 勾配 g を coordinate i を pi の確率で保持し、保持された座標を gi/pi で拡大して無偏な Q(g) を保つ。
• 線形計画問題を定式化し、総 Sparsity の和を最小化するために pi を、分散制約 sum gi^2/pi ≤ (1+ε) sum gi^2 に従って最適化。
• pi = min(λ|gi|, 1) の閉形式の最適解を導出し、上位の大きさの座標集合 Sk が pi=1 で保持されることを示す。
• 確率ベクトル p を効率的に計算する二つの実用的アルゴリズム（Algorithm 2 の閉形式解; Algorithm 3 の貪欲法）を提供。
• 効率的な伝送のために座標を Sk と非 Sk に分割するコーディング戦略を説明し、拡張および非拡張部分の表現を含む。
• 同期的な分散最適化設定（Algorithm 1）および非同期的な分散最適化設定への統合の概要。
• (ρ, s)-approximately sparse gradients の下での理論的 sparsity 保証と、それに対応するコーディング長の境界を提供。

実験結果

リサーチクエスチョン

• RQ1 stochastic gradient sparsification は収束を大きく損なうことなく通信の大幅な削減を達成できるのか？
• RQ2 given variance budget の下で gradient sparsity と分散の最適なトレードオフは何か？
• RQ3 線形時間で保証付きに近似最適な sparsification 確率を計算するにはどうするか？
• RQ4 gradient sparsification は標準的な分散最適化法（SGD、SVRG、ADAM）およびコーディング戦略とどのように相互作用するか？
• RQ5 提案する sparsification 手法は convex および non-convex 問題および実世界データセットに一般化するか？

主な発見

• スパース化手法は、確率 p_i で座標をサンプリングし、保持座標を 1/p_i でスケーリングして無偏な Q(g) を得る。
• 分散性予算の下で sparsity を最小化する凸定式化により p_i = min(λ|g_i|, 1)（データ依存の λ を持つ）が得られる。
• 実用的な二つのアルゴリズム（閉形式解と貪欲法）は、sparsity 保証とともに p を効率的に計算する。
• このアプローチは ℓ2-正則化付きロジスティック回帰、SVM、および CNN でのコーディング長と通信を削減しつつ、収束性を競合的に維持。
• 実証的な結果は、方法が一様サンプリングを上回り、データ分布に応じて異なる sparsity レベルで QSGD と競合することを示す；より強い sparsity は通信効率の向上をもたらす。
• 理論的解析は、(ρ, s)-approximately sparse gradients と、期待 sparsity の上限および分散増加の制御との関係を示す。