[論文レビュー] Distributed Stochastic Variance Reduced Gradient Methods.

Jason D. Lee, Tengyu Ma+1 more|arXiv (Cornell University)|Jul 27, 2015

Stochastic Gradient Optimization Techniques参考文献 10被引用数 10

ひとこと要約

本稿では、大規模な機械学習における凸関数の平均を最小化するための分散型確率的バナリアンス低減勾配（DSVRG）手法を提案する。通信ラウンド数を最小化することで、通信効率と実行時間の両面で最適性を達成し、理論的に示された下界に一致する。また、局所データサイズに対して条件数が著しく大きくない限り、既存手法を上回る性能を発揮する。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

研究の動機と目的

• 凸関数の平均を最適な通信効率で最小化する分散型1次最適化手法の設計を目的とする。
• 分散型1次最適化手法の中で、並列実行時間、通信量、通信ラウンド数の3つを最適化することを目的とする。
• 広範なクラスの分散型1次最適化手法に対して、通信効率の根本的限界を特定するための下界を証明することを目的とする。
• 下界に一致する加速版を設計し、既存のアルゴリズムを上回る通信ラウンド数の性能を達成することを目的とする。

提案手法

• 分散データセット上の経験的リスク最小化を想定した、分散型確率的バナリアンス低減勾配（DSVRG）アルゴリズムを提案する。
• 分散環境における勾配更新の安定化とノイズ低減のため、バナリアンス低減技術を用いる。
• 最適収束速度を維持しつつ、通信ラウンド数を最小化するようにアルゴリズムを設計する。
• 通信ラウンド数の理論的下界に一致する加速版DSVRGを導入する。
• 条件数が通信効率と収束速度に与える役割を分析する。
• 理論的枠組みを用いて、広範なクラスの分散型1次最適化手法に対する通信ラウンド数の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 分散型1次最適化手法は、ラウンド数、通信量、実行時間の観点から最適な通信効率を達成できるか？
• RQ2 分散型1次最適化のための通信ラウンド数の根本的下界は何か？
• RQ3 条件数は分散最適化アルゴリズムの通信効率にどのように影響するか？
• RQ4 DSVRGの加速版は、通信ラウンド数の理論的下界に一致できるか？
• RQ5 提案手法は、既存の分散アルゴリズムと比較して通信複雑度の面で優れているか？

主な発見

• 提案されたDSVRGアルゴリズムは、定数倍の誤差を除いて、並列実行時間、通信量、通信ラウンド数の3つすべてにおいて最適性を達成する。
• 加速版DSVRGは、導出された通信ラウンド数の下界に一致し、通信最適性を達成する。
• 条件数が局所データサイズに対して著しく大きくない限り、既存の分散アルゴリズムよりも通信ラウンド数の面で優れる。
• 本稿では、広範なクラスの分散型1次最適化手法に適用可能な通信ラウンド数の理論的下界を確立した。
• 凸性と滑らかさの標準的仮定のもとで、アルゴリズムは最適収束速度を維持する。
• 結果から、条件数と局所データサイズのバランスを取ることで、通信効率を最大化できることを示している。