[論文レビュー] AdaBatch: Efficient Gradient Aggregation Rules for Sequential and Parallel Stochastic Gradient Methods

Alexandre Défossez, Francis Bach|arXiv (Cornell University)|Nov 6, 2017

Stochastic Gradient Optimization Techniques参考文献 15被引用数 10

ひとこと要約

AdaBatch は、スパース性に基づいて座標ごとに勾配を再スケーリングする新しい勾配集約ルールを、確率的勾配法に導入することで、サンプル効率を向上させるとともに、並列処理を効果的に行えるようにする。この手法は、Hogwild! などの非同期手法と同等の性能を達成しながらも収束保証を維持しており、スパースデータセットにおける逐次的および分散環境下での標準的なミニバッチ SGD よりも顕著に優れている。

ABSTRACT

We study a new aggregation operator for gradients coming from a mini-batch for stochastic gradient (SG) methods that allows a significant speed-up in the case of sparse optimization problems. We call this method AdaBatch and it only requires a few lines of code change compared to regular mini-batch SGD algorithms. We provide a theoretical insight to understand how this new class of algorithms is performing and show that it is equivalent to an implicit per-coordinate rescaling of the gradients, similarly to what Adagrad methods can do. In theory and in practice, this new aggregation allows to keep the same sample efficiency of SG methods while increasing the batch size. Experimentally, we also show that in the case of smooth convex optimization, our procedure can even obtain a better loss when increasing the batch size for a fixed number of samples. We then apply this new algorithm to obtain a parallelizable stochastic gradient method that is synchronous but allows speed-up on par with Hogwild! methods as convergence does not deteriorate with the increase of the batch size. The same approach can be used to make mini-batch provably efficient for variance-reduced SG methods such as SVRG.

研究の動機と目的

• 大きなバッチサイズがサンプル効率を低下させるスパース最適化における、標準的なミニバッチ SGD の非効率性を是正すること。
• 同期並列 SGD の限界を克服すること。これは、イテレーション回数の減少と大きなバッチサイズにおける不安定な収束性により、スケーリングが著しく劣化するためである。
• より大きなバッチサイズと効果的な並列処理を可能にしつつ、サンプル効率を維持する勾配集約ルールの開発。
• 収束保証を失わず、同期分散 SGD が Hogwild! などの非同期手法と同等の性能を達成できるようにすること。
• AdaBatch の利点を、SVRG などのバリアンス低減手法へと拡張し、スパースデータにおける効率性を向上させること。

提案手法

• 標準的なミニバッチ平均化の代わりに、座標ごとの正規化を導入する：各勾配成分は、その座標におけるバッチ内での非ゼロ勾配数で除算される。
• このルールにより、データのスパarsity を活用するように最適化問題が暗黙的に再重み付けされ、Adagrad の座標ごとの学習率適応と同様の性質を示す。
• 各座標ごとの確率的平均を維持することで、勾配ノルムの制御がなされ、安定性が保たれる。
• このアプローチは逐次的および並列的 SGD と両方で互換性があり、効率的な同期分散学習が可能である。
• SGD や SVRG フレームワークへの統合は、勾配集約ロジックの変更のみで実現でき、コード変更は最小限に抑えられる。
• 理論的分析により、これは暗黙の座標ごとの再スケーリングと同等であり、標準的な仮定の下で収束保証が得られることを示している。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、修正された勾配集約ルールがスパース確率的最適化におけるサンプル効率を向上させられるか？
• RQ2 提案された AdaBatch ルールにより、同期 SGD がより大きなバッチサイズとより多くのワーカーで効果的にスケーリングされ、Hogwild! などの非同期手法と同等の性能を達成できるか？
• RQ3 AdaBatch は、スパースデータセットにおいて、標準的なミニバッチ SGD と比較して、収束速度と最終的なテスト誤差にどの程度の改善をもたらすか？
• RQ4 AdaBatch は、SVRG などのバリアンス低減手法へと成功裏に拡張可能であり、サンプル効率と並列スケーラビリティの利点を維持できるか？
• RQ5 壁時計時間とサンプル効率の観点から、AdaBatch は Hogwild! などの最先端の非同期手法と比較してどの程度の性能を示すか？

主な発見

• AdaBatch は、バッチサイズとワーカー数を増加させても、標準的なミニバッチ SGD よりも収束速度と最終的なテスト誤差において顕著に優れている。
• スパムおよび url データセットでは、AdaBatch は同期学習であっても Hogwild! と同等の壁時計時間での収束を達成している。一方、標準的なミニバッチ SGD は、より大きなバッチサイズで性能が劣化している。
• news20 データセットでは、AdaBatch は大きなバッチサイズを使用しても、標準的な SGD と同等またはそれ以上のサンプル効率を維持または向上させている。
• SVRG 実験では、AdaBatch は初期最適化段階において、標準的なミニバッチ SVRG よりも速い収束を達成しており、news20 および スパム データセットで顕著な改善が観察された。
• この手法により、同期 SGD がワーカー数に応じて効率的にスケーリングされ、スパムおよび url データセットの実験で、1 秒あたり処理するサンプル数の面でほぼ理想のスループットが達成された。
• 理論的分析により、AdaBatch が Adagrad と同様に、暗黙の座標ごとの勾配再スケーリングと同等であることが確認され、安定性および収束特性の向上が説明された。