[論文レビュー] A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction

Fan Zhou, Guojing Cong|arXiv (Cornell University)|Mar 12, 2019

Stochastic Gradient Optimization Techniques参考文献 27被引用数 11

ひとこと要約

この論文では、局所的なパラメータ平均化を導入することで、希なグローバルパラメータ平均化の前に隣接するワーカー間で局所平均化を行うことで通信オーバーヘッドを低減する分散階層的SGDアルゴリズムであるHier-AVGを提案する。この手法は非凸問題において標準的な収束レートを達成し、K-AVGよりも高速な学習とより高いテスト精度を実現する。大規模分散学習システムにおいて、局所的通信をグローバル通信に効果的に置き換えることが可能である。

ABSTRACT

Reducing communication in training large-scale machine learning applications on distributed platform is still a big challenge. To address this issue, we propose a distributed hierarchical averaging stochastic gradient descent (Hier-AVG) algorithm with infrequent global reduction by introducing local reduction. As a general type of parallel SGD, Hier-AVG can reproduce several popular synchronous parallel SGD variants by adjusting its parameters. We show that Hier-AVG with infrequent global reduction can still achieve standard convergence rate for non-convex optimization problems. In addition, we show that more frequent local averaging with more participants involved can lead to faster training convergence. By comparing Hier-AVG with another popular distributed training algorithm K-AVG, we show that through deploying local averaging with fewer number of global averaging, Hier-AVG can still achieve comparable training speed while frequently get better test accuracy. This indicates that local averaging can serve as an alternative remedy to effectively reduce communication overhead when the number of learners is large. Experimental results of Hier-AVG with several state-of-the-art deep neural nets on CIFAR-10 and IMAGENET-1K are presented to validate our analysis and show its superiority.

研究の動機と目的

• 大規模分散機械学習における高い通信コストを低減するため、グローバルパラメータ平均化の頻度を削減すること。
• 収束保証を維持しながらグローバル通信を最小限に抑えるスケーラブルな階層的SGDフレームワークを開発すること。
• 局所平均化が頻繁なグローバル削減に代わって有効に機能し、学習速度や精度を損なわずに実現できることを示すこと。
• 階層的平均化の下での非凸最適化における収束の理論的境界を導出すること。
• CIFAR-10およびImageNet-1K上で、最先端のディープニューラルネットワークを用いてHier-AVGがK-AVGを上回ることを実験的に検証すること。

提案手法

• Hier-AVGは、グローバル平均化の前に、ワーカーが直接隣接するワーカーと複数回の局所平均化ステップを実行する階層的通信構造を導入する。
• アルゴリズムは、希なグローバル削減を伴うバッチ同期並列処理を用い、グローバル通信のオーバーヘッドを低減する。
• 局所平均化は、木構造的またはクラスタベースのトポロジー上で実行され、局所グループ内での効率的な勾配交換を可能にする。
• 局所平均化とグローバル平均化を交互に実行することで、勾配の陳腐化を制御し、安定性と収束性を確保する。
• 理論的分析により、さまざまな指標下での期待値の二乗勾配ノルムの非漸近的境界が導出され、標準的な収束レートに収束することが示された。
• パラメータチューニングにより、このフレームワークはK-AVG や ASGD などの既存の並列SGDの変種を一般化することができる。

実験結果

リサーチクエスチョン

• RQ1 階層的SGDフレームワークにおいて、グローバル平均化を希にしても、非凸最適化問題で標準的な収束レートを達成できるか？
• RQ2 より多くの参加者を含む局所平均化の頻度を高めると、学習の収束速度とテスト精度にどのような影響を与えるか？
• RQ3 局所平均化が、学習性能を劣化させることなく、グローバル通信の頻度を効果的に低減できるか？
• RQ4 同じグローバル削減頻度のもとで、Hier-AVGはK-AVGに比べて学習速度とテスト精度で優れているか？
• RQ5 局所平均化構造、グローバル削減頻度、収束境界の理論的関係は何か？

主な発見

• 希なグローバル平均化を伴うHier-AVGは、期待値の二乗勾配ノルムの非漸近的境界が導出されたことから、非凸最適化問題において標準的な収束レートを達成することが保証された。
• より頻繁な局所平均化とより大きな局所グループを用いることで、K-AVGよりも高速な学習収束と一貫した高いテスト精度が得られた。
• 効果的な局所平均化によりグローバル通信頻度を低減したため、Hier-AVGはK-AVGと同等の学習速度を維持しながら、より高いテスト精度を達成した。
• 理論的分析から、局所平均化の頻度が高くなるほど、および局所グループのサイズが大きくなるほど、Hier-AVGの学習速度が向上することが示された。
• CIFAR-10およびImageNet-1Kにおける実験結果から、複数のディープニューラルネットワークアーキテクチャにおいて、Hier-AVGはK-AVGを上回るテスト精度と通信効率を示した。
• 境界解析により、特に高通信環境下では、局所平均化が用いられた場合、Hier-AVGの収束性能がK-AVGを上回ることが確認された。