[論文レビュー] Distributed Machine Learning through Heterogeneous Edge Systems

Hanpeng Hu, Dan Wang+1 more|arXiv (Cornell University)|Nov 16, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、計算能力および通信帯域が著しく異なるエッジシステムにおける分散機械学習のための、待ち時間を排除する新しいパrameter同期モデルADSPを提案する。ADSPは、高速なワーカーが遅いワーカーを待たずに継続的に学習を進め、戦略的に選ばれた間隔で更新をコミットすることで、待ち時間を解消する。ADSPはモーメンタムに基づくオンライン探索を用いてコミットレートを動的に調整することで収束を保証し、最先端の手法と比較して最大62.4%の高速な収束を達成する。

ABSTRACT

Many emerging AI applications request distributed machine learning (ML) among edge systems (e.g., IoT devices and PCs at the edge of the Internet), where data cannot be uploaded to a central venue for model training, due to their large volumes and/or security/privacy concerns. Edge devices are intrinsically heterogeneous in computing capacity, posing significant challenges to parameter synchronization for parallel training with the parameter server (PS) architecture. This paper proposes ADSP, a parameter synchronization scheme for distributed machine learning (ML) with heterogeneous edge systems. Eliminating the significant waiting time occurring with existing parameter synchronization models, the core idea of ADSP is to let faster edge devices continue training, while committing their model updates at strategically decided intervals. We design algorithms that decide time points for each worker to commit its model update, and ensure not only global model convergence but also faster convergence. Our testbed implementation and experiments show that ADSP outperforms existing parameter synchronization models significantly in terms of ML model convergence time, scalability and adaptability to large heterogeneity.

研究の動機と目的

• 計算能力および通信帯域に顕著な差が生じる異種エッジシステムにおける非効率な学習の課題に対処すること。
• 既存のモデルで学習時間の大部分を占めるワーカーの待ち時間を最小限に抑えるパラメータ同期を最適化すること。
• 高速なエッジデバイスの利用を最大化すると同時に、グローバルモデルの収束を保証すること。
• 高い異種性およびネットワーク遅延に強い、スケーラブルで適応可能な同期モデルを設計すること。
• 現実のエッジ環境に適応する能力、スケーラビリティ、収束速度の面で、既存のパラメータ同期モデルを上回ること。

提案手法

• ADSPは、高速ワーカーが遅いワーカーを待たずに学習を継続できる「待ちなし」戦略を導入する。
• すべてのワーカーが同期された、戦略的に選ばれた間隔でモデル更新をコミットすることで、収束を維持する。
• モーメンタムに基づくオンライン探索アルゴリズムにより、最適なグローバルコミットレートを計算し、個々のワーカーのコミット頻度を動的に調整する。
• 合計処理能力を1回のコミットあたりのローカル計算時間と通信遅延の合計として扱うことで、計算および通信の異種性を両方効果的に処理できる。
• 速度差に関係なく、時間経過とともに各ワーカーがほぼ同じ数のコミットを行うことを保証する。
• 多様なエッジデバイスを用いた実際のテストベッド上で実装され、現実のAIワークロードを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 ワーカーの異種性に起因する待ち時間の低減を図るために、分散エッジ学習におけるパラメータ同期をどのように最適化できるか。
• RQ2 高速ワーカーが継続的に学習を進められるようにしつつ、グローバルモデルの収束を保証できる同期モデルを設計できるか。
• RQ3 異種環境において収束速度と安定性のバランスを取る最適なコミットレート戦略は何か。
• RQ4 計算および通信の異種性が変化する条件下で、モデルの性能はどのように変化するか。
• RQ5 現実の展開において、エッジワーカーの数が増加するに従い、モデルはどの程度スケーリングするか。

主な発見

• H = 3.2 の場合、ADSPは固定型ADACOMMと比較して最大62.4%の高速な収束時間を達成する。
• 異種性が高くなるにつれて、ADSPとFixed ADACOMMの性能差が拡大し、ADSPの多様なエッジデバイスへの優れた適応性が裏付けられる。
• ADSPはスケーリング時でも高速な収束を維持し、36ワーカーの規模でもFixed ADACOMMを著しく上回る。
• ADSPはネットワーク遅延に対して頑健である：通信遅延が高くなるほど、ベースラインとの収束速度の差が拡大する。これは通信オーバーヘッドへの感受性が低いからである。
• ADSPの待ちなし戦略により、無駄な待機時間が削減され、高能力なエッジデバイスの迅速な活用が可能になり、全体のシステム効率が向上する。
• 合計処理能力を統一された指標として扱うことで、ADSPは計算および通信の両方の異種性を効果的に処理し、多様なエッジ環境に耐性を持つ。