[論文レビュー] Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox

Jialei Wang, Weiran Wang+1 more|arXiv (Cornell University)|Feb 21, 2017

Stochastic Gradient Optimization Techniques被引用数 25

ひとこと要約

本稿では、ミニバッチ・プロキシ（MP-DANE）を提案する。これは、メモリおよび通信効率に優れた分散確率的最適化手法であり、近似的線形のスケールアップを達成し、統計的最適性を満たす。ミニバッチ上でパassive-aggressive更新を用いて部分問題を解くことで、通信とメモリの間で調整可能なトレードオフを実現し、ミニバッチサイズや滑らかさにかかわらず最適収束を維持する。

ABSTRACT

We present and analyze an approach for distributed stochastic optimization which is statistically optimal and achieves near-linear speedups (up to logarithmic factors). Our approach allows a communication-memory tradeoff, with either logarithmic communication but linear memory, or polynomial communication and a corresponding polynomial reduction in required memory. This communication-memory tradeoff is achieved through minibatch-prox iterations (minibatch passive-aggressive updates), where a subproblem on a minibatch is solved at each iteration. We provide a novel analysis for such a minibatch-prox procedure which achieves the statistical optimal rate regardless of minibatch size and smoothness, thus significantly improving on prior work.

研究の動機と目的

• 線形または近似的線形のスケールアップ、低通信、低メモリ、最適な統計的性能を備えた分散確率的最適化手法の設計という未解決の課題に取り組む。
• 分散学習における通信とメモリの柔軟なトレードオフを可能にし、通信を減らす代わりにメモリを増やす、あるいは逆に、メモリを減らす代わりに通信を増やすことが可能である。
• ミニバッチサイズや滑らかさにかかわらず統計的最適性を維持する手法の開発。これにより、先行手法の制限を克服する。
• 通信ラウンド数と各マシンのメモリ使用量を最小限に抑えながら、実行時間における近似的線形のスケールアップを達成する。
• 一般条件下で最適収束レートを保証するミニバッチ・プロキシ手順の新しい理論的分析を提供する。

提案手法

• 本手法はミニバッチ・プロキシ反復を用い、各マシンがローカルなミニバッチ上でパssive-aggressive更新を用いて部分問題を解く。
• DANEフレームワークをミニバッチベースのプロキシ更新と統合し、各マシンでミニバッチ上で局所最適化問題を解いた後、マシン間で平均化する。
• 各ミニバッチに対して固定回数のDANE反復（K）を実行し、各反復では局所最適化とグローバル平均化を含む。
• 局所部分問題を効率的に解くためにSAGAを活用し、各反復ごとにローカルデータを1回パスする。
• DANE反復回数Kとミニバッチサイズbを調整することで、通信とメモリのトレードオフを実現できる。
• 理論的分析により、本手法はミニバッチサイズや滑らかさにかかわらず最適な統計的レートを達成することが示され、近似的線形のスケールアップを実現する。

実験結果

リサーチクエスチョン

• RQ1 分散確率的最適化手法は、通信とメモリを最小限に抑えつつ、近似的線形のスケールアップと統計的最適性を達成できるか？
• RQ2 ミニバッチ・プロキシアプローチは、統計的効率を損なわずに、調整可能な通信・メモリトレードオフを可能にするか？
• RQ3 ミニバッチ・プロキシの収束レートは、ミニバッチサイズや滑らかさにかかわらず最適であると証明できるか？
• RQ4 DANE反復回数Kがミニバッチ設定における収束性と効率性に与える影響は何か？
• RQ5 既存の手法と比較して通信ラウンド数を削減しながら、最適なサンプル複雑度と実行時間を維持できるか？

主な発見

• 提案されたMP-DANE手法は、ミニバッチサイズや滑らかさにかかわらず、統計的に最適な収束レートを達成し、先行研究を著しく上回る。
• 固定されたDANE反復回数（K）のもとで、本手法は最適なサンプル複雑度を維持し、実行時間における近似的線形のスケールアップを実現する。
• 本手法は通信とメモリのトレードオフを可能にしている：DANE反復回数Kを増やすことで通信を減らし、ミニバッチサイズを増やすことでメモリを減らすことができる。
• 実験結果から、MP-DANEはミニバッチサイズが大きくなるにつれて収束が遅くなるが、ミニバッチSGDとは異なり、大きなbでは急激に性能が低下しない。
• DANE反復を増やすことで性能が向上するが、その効果は次第に小さくなる。理論的予測と一致し、わずかに定数回の反復で十分であることが裏付けられる。
• 本手法はO(1)のメモリとO(n(ε)^{1/4})の通信ラウンドで最適な実行時間を達成し、加速されたミニバッチSGDの最高水準の通信効率を達成する。