[論文レビュー] Gradient Scheduling with Global Momentum for Non-IID Data Distributed Asynchronous Training

Chengjie Li, Ruixuan Li+5 more|arXiv (Cornell University)|Feb 21, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 10

ひとこと要約

本論文では、非IIDデータ条件下における分散非同期学習のための新規アルゴリズムであるグレデントスケジューリング・グローバルモーメンタム（GSGM）を提案する。グレデントスケジューリングとグローバルモーメンタム、およびローカル平均化を組み合わせることで、エッジ分散型の非IIDデータにおいて学習を安定化させ、CIFAR-10およびFashion-MNISTでは20%の学習安定性向上を達成し、大規模分散環境下でCIFAR-100では37%の向上を示した。30ノードの環境でも収束が維持される。

ABSTRACT

Distributed asynchronous offline training has received widespread attention in recent years because of its high performance on large-scale data and complex models. As data are distributed from cloud-centric to edge nodes, a big challenge for distributed machine learning systems is how to handle native and natural non-independent and identically distributed (non-IID) data for training. Previous asynchronous training methods do not have a satisfying performance on non-IID data because it would result in that the training process fluctuates greatly which leads to an abnormal convergence. We propose a gradient scheduling algorithm with partly averaged gradients and global momentum (GSGM) for non-IID data distributed asynchronous training. Our key idea is to apply global momentum and local average to the biased gradient after scheduling, in order to make the training process steady. Experimental results show that for non-IID data training under the same experimental conditions, GSGM on popular optimization algorithms can achieve a 20% increase in training stability with a slight improvement in accuracy on Fashion-Mnist and CIFAR-10 datasets. Meanwhile, when expanding distributed scale on CIFAR-100 dataset that results in sparse data distribution, GSGM can perform a 37% improvement on training stability. Moreover, only GSGM can converge well when the number of computing nodes grows to 30, compared to the state-of-the-art distributed asynchronous algorithms. At the same time, GSGM is robust to different degrees of non-IID data.

研究の動機と目的

• 非IIDデータを扱う分散型エッジベースシステムにおけるディープラーニングモデルの学習課題に対処すること。
• 非IIDデータ分布下で既存の非同期学習手法が示す不安定さと収束不良を克服すること。
• 計算ノード数の増加に伴っても性能を維持できるスケーラブルで頑健な最適化アルゴリズムを開発すること。
• 分散エッジ環境におけるデータスケーリングの程度にかかわらず収束性と安定性を確保すること。

提案手法

• 更新前に勾配を再編成・バランス化するためのグレデントスケジューリングを導入し、非IIDデータに起因するバイアスを低減する。
• スケジュールされた勾配にグローバルモーメンタムを適用し、最適化軌道を滑らかにし、フラクチュエーションを低減する。
• 各ワーカー内での勾配のローカル平均化を実施し、さらに分散を低減し、更新を安定化させる。
• スケジュールされた勾配とグローバルモーメンタムを統合することで、非同期システム向けに安定的かつスケーラブルな学習プロセスを構築する。
• データスケーリングの程度やノード数の増加に強く、さまざまなレベルのデータスケューに耐性を持つアルゴリズムを設計する。
• アーキテクチャの変更を要せず、標準的な最適化フレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 グレデントスケジューリングとグローバルモーメンタムの組み合わせが、分散非同期学習における非IIDデータの学習安定性を向上させ得るか？
• RQ2 特にノード間でデータがスパarsity化する状況下で、GSGMのスケーリング性能はいかがなものか？
• RQ3 他の最先端手法とは異なり、計算ノード数が30に増加してもGSGMは収束を達成できるか？
• RQ4 さまざまなレベルのデータ非IID性において、GSGMは既存のアルゴリズムと比較して、精度と安定性の両面で優れているか？
• RQ5 GSGMは、Fashion-MNIST、CIFAR-10、CIFAR-100といった多様なデータセットにおいて一貫した性能向上を達成できるか？

主な発見

• ベースライン手法と同一の実験条件下で、Fashion-MNISTおよびCIFAR-10ではGSGMが20%の学習安定性向上を達成した。
• スケーリングが拡大し、データがノード間でスパarsity化するCIFAR-100では、GSGMが37%の学習安定性向上を示した。
• 最先端手法の中でも、ノード数が30に増加した場合にのみ収束を達成する唯一のアルゴリズムである。
• 非IIDデータの度合いが異なる状況でもGSGMは安定した学習性能を維持し、データスケューに強く、頑健であることが示された。
• 精度にわずかな向上を示しながらも、安定性に顕著な向上を達成しており、バランスの取れた最適化プロセスであることが示唆された。
• グレデントスケジューリングとグローバルモーメンタムの統合により、非IID環境下でのバイアス勾配が引き起こす不安定性が効果的に緩和された。