[論文レビュー] Variance Reduction for Distributed Stochastic Gradient Descent

Soham De, Gavin Taylor+1 more|arXiv (Cornell University)|Dec 5, 2015

Stochastic Gradient Optimization Techniques参考文献 24被引用数 6

ひとこと要約

本論文では、過去の反復回数の移動平均を用いることで、完全な勾配計算や追加のメモリ領域を必要としない分散確率的勾配降下法の分散低減手法であるVR-liteを提案する。同期的および非同期的な分散環境において、スケーラブルで安定的かつ高速な収束を実現し、通信頻度が低い大規模な分類および回帰タスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Variance reduction (VR) methods boost the performance of stochastic gradient descent (SGD) by enabling the use of larger, constant stepsizes and preserving linear convergence rates. However, current variance reduced SGD methods require either high memory usage or an exact gradient computation (using the entire dataset) at the end of each epoch. This limits the use of VR methods in practical distributed settings. In this paper, we propose a variance reduction method, called VR-lite, that does not require full gradient computations or extra storage. We explore distributed synchronous and asynchronous variants that are scalable and remain stable with low communication frequency. We empirically compare both the sequential and distributed algorithms to state-of-the-art stochastic optimization methods, and find that our proposed algorithms perform favorably to other stochastic methods.

研究の動機と目的

• 分散環境における既存の分散低減手法が、高メモリ消費や正確な勾配計算を要するという制限を解消すること。
• 通信頻度が低い大規模分散最適化に適したスケーラブルで安定した分散低減アルゴリズムの開発。
• 通信コストが高価な非同期および完全分散環境において、分散低減の実用的利用を可能にすること。
• 実世界の機械学習タスクにおいて、既存の分散SGD手法と比較して収束速度と安定性の両面で優れるようにすること。

提案手法

• VR-liteは、個々の勾配を保存するのではなく、過去の反復値の移動平均を保持することで、完全な勾配計算と履歴の保存を置き換える。
• 補正勾配更新式 $ g^k = \nabla f_{i_k}(x) - \left( \nabla f_{i_k}(y) + \tilde{g}_y \right) $ を用い、ここで $ y $ は過去の反復値、$ \tilde{g}_y $ は最近の勾配の平均である。
• 同期的および非同期的分散環境に適応し、通信は周期的な間隔でのみ実施される。
• 分散環境では、ローカルワーカーが独立してパラメータを更新し、$ \tau $ ステップごとにのみ通信することで通信オーバーヘッドを低減する。
• SAGAが $ n $ 個の過去の勾配を保存するのを避ける一方で、SVRGが全データセット上で $ \nabla f(x) $ を計算する必要がない。
• MPIを用いたHPCクラスタ上で実装され、非同期実行における一貫性を保証するためのロック付き更新メカニズムが採用されている。

実験結果

リサーチクエスチョン

• RQ1 完全な勾配計算や追加メモリ領域を必要とせずに、分散SGDにおける分散低減を達成できるか？
• RQ2 移動平均に基づく分散低減手法の収束速度と安定性は、SAGAやSVRGと比較してどの程度か？
• RQ3 通信頻度が低い分散環境でも、VR-liteは高速な収束と安定性を維持できるか？
• RQ4 同期的および非同期的構成において、分散ワーカー数の増加に伴い、VR-liteはどのようにスケーリングするか？

主な発見

• すべてのテストされた逐次実験において、SAGAの高いメモリ使用量を考慮しても、VR-liteはSAGAおよびSVRGよりも収束が速い。
• 分散環境では、SUSYおよびMILLIONSONGデータセットにおいて、Sync VR-liteおよびAsync VR-liteはHogwild!、EASGD、非同期SVRGを著しく上回った。
• 750ワーカーを用いたSUSYデータセットでは、VR-liteが5秒未満でモデル学習を完了し、優れたスケーラビリティを示した。
• 480ワーカーを用いたMILLIONSONGデータセットでは、VR-liteが約10秒で収束に到達し、ワーカー数が増加するに従い性能向上の余地が小さくなった。
• 高い通信遅延下でもアルゴリズムが安定したままであるため、同期頻度が低い環境にも耐性があることが示された。
• 非同期バージョンはロックフリー実装によりさらなる高速化が期待でき、実用的な効率性が示唆された。