[論文レビュー] Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity

Jason D. Lee, Qihang Lin+2 more|arXiv (Cornell University)|Jul 27, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用数 42

ひとこと要約

本稿では、大規模な機械学習における最適な通信複雑性と実行時間の達成を可能にする分散凸最適化のための分散確率的バリアンス低減勾配（DSVRG）とその加速版（DASVRG）を提案する。並列バッチ勾配計算と効率的なデータシャーディングを活用することで、DSVRGは定数要因を除いて、ラウンド数、通信量、実行時間の点で最適収束を達成する。DASVRGは、通信ラウンド数に関する既知の下界に一致する。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

研究の動機と目的

• m台のマシン上でN個の凸関数の平均を最適な通信量と実行時間で最小化する分散第一順序最適化手法を設計すること。
• 大規模な機械学習における高い通信コストの課題に応えるために、通信ラウンド数を最小限に抑えつつ高速収束を維持すること。
• 分散第一順序手法の通信ラウンド数に関する理論的下界を確立し、DASVRGがこの下界に達していることを示すこと。
• SVRGアルゴリズムを効率的なデータ割り当てと不偏勾配推定を伴う分散環境に拡張すること。
• 実世界のデータセット上で、DSVRGとDASVRGが既存手法よりも通信効率と実行時間で優れていることを実験的に検証すること。

提案手法

• DSVRGアルゴリズムは、m台のマシン上でバッチ勾配を並列に計算し、共有されたデータポイントから構築されたバリアンス低減確率的勾配を用いて逐次更新を行う。
• 効率的なデータ割り当て方式により、N個の関数をm台のマシンに分散配置し、各マシンがC個の関数（n個の主なデータポイントと追加の約n個の共有関数）を保持することで、不偏勾配推定を可能にする。
• ステップサイズη = 1/Lを用い、勾配の分散低減のための制御変数を用いた更新により、最適レートでの収束を保証する。
• DASVRGは、ネステロフ風のモーメンタムと二段階の更新戦略を用いた加速版であり、通信ラウンド数を削減する。
• 分散第一順序手法の広いクラスに対して、通信ラウンド数に関する理論的下界を導出する。
• 平均関数のL-スムーズ性とμ-strong凸性を仮定し、条件数κ = L/μを定義する。各マシンには十分なメモリ（C > n）が必要である。

実験結果

リサーチクエスチョン

• RQ1 分散第一順序手法は、並列実行時間、総通信量、通信ラウンド数の点で最適収束を達成できるか？
• RQ2 提案されたDSVRGアルゴリズムは、各マシンのメモリが限られる条件下でも、バリアンス低減の利点を維持できるか？
• RQ3 DSVRGの加速版は、既存手法よりも通信ラウンド数を削減できるか？
• RQ4 分散第一順序手法の通信ラウンド数には理論的下界が存在するか？ そして、その下界に到達できるアルゴリズムは存在するか？
• RQ5 DSVRGとDASVRGの性能は、異なるデータセットと条件数において、DisDCAおよび加速勾配法と比較してどのように異なるか？

主な発見

• DSVRGは、妥当な仮定の下で、定数要因を除いて、すべての分散第一順序手法の中で並列実行時間、総通信量、通信ラウンド数の点で最適収束を達成する。
• DASVRGは新たに導出された通信ラウンド数に関する理論的下界に一致しており、最も通信効率の良い分散第一順序手法である。
• Million SongおよびCovtypeデータセットにおいて、DSVRGとDASVRGはDisDCAおよび加速勾配法よりも通信効率に優れ、実行時間も同等または優れている。
• λが小さくなる（条件数が大きくなる）と、すべてのアルゴリズムの性能が低下するが、DSVRGとDASVRGはあらゆる設定で通信ラウンド数において優れた性能を維持する。
• m = 5, 10, 15の場合、DSVRGとDASVRGは、特に条件数が大きくなるに従い、DisDCAおよび加速勾配法よりも常に少ない通信ラウンド数を要する。
• 実験結果から、DSVRGとDASVRGは異なるデータ分布と条件数に対して頑健であり、DASVRGは通信効率においてわずかな優位性を示している。