[論文レビュー] ELFISH: Resource-Aware Federated Learning on Heterogeneous Edge Devices.

Zirui Xu, Yang Zhao+3 more|arXiv (Cornell University)|Dec 3, 2019

Privacy-Preserving Technologies in Data参考文献 7被引用数 51

ひとこと要約

ELFISHは、トレーニング中にリソース集約的なニューロンを動的にマスクし、独自のパラメータ集約方式により回復させることで、異種エッジデバイス上でトレーニングを高速化するリソースに配慮したフェデレーテッドラーニングフレームワークです。計算遅延を解消しながら協調的収束を保証するため、最大2倍のトレーニングスピードアップと4%の高い精度を達成しています。

ABSTRACT

In this work, we propose ELFISH - a resource-aware federated learning framework to tackle computation stragglers in federated learning. In ELFISH, neural network models' training consumption will be firstly profiled in terms of different computation resources. Guided by profiling, a method is proposed for straggler acceleration, which partially trains the model by masking a particular number of resource-intensive neurons. Rather than generating a deterministically optimized model with diverged structure, different sets of neurons will be dynamically masked every training cycle and will be recovered and updated during parameter aggregation, ensuring comprehensive model updates overtime. The corresponding parameter aggregation scheme is also proposed to balance the contribution from soft-trained models and guarantee the collaborative convergence. Eventually, ELFISH overcomes the computational heterogeneity of edge devices and achieves synchronized collaboration without computational stragglers. Experiments show that ELFISH can provide up to 2x training acceleration with soft-training in various straggler settings. Furthermore, benefited from the proposed parameter aggregation scheme, ELFISH improves the model accuracy for 4% with even better collaborative convergence robustness.

研究の動機と目的

• デバイスの異種性によって引き起こされる計算遅延を軽減すること。
• 異なる計算リソースを持つエッジデバイス間での同期された協調学習を可能にすること。
• 部分的にトレーニングされたモデルからの寄与をバランスさせるパラメータ集約方式の設計。
• モデル構造を変更せずに、モデルの精度と収束のロバスト性を向上させること。
• 動的ニューロンマスクによるソフトトレーニングを通じて、顕著なトレーニング加速を達成すること。

提案手法

• 異なるリソースにおける計算消費量を定量化するため、ニューラルネットワークモデルのプロファイリング。
• 各トレーニングサイクルにおいて、リソース集約的なニューロンのサブセットを動的にマスクして計算負荷を低減。
• パラメータ集約中にマスクされたニューロンを回復・更新することで、包括的なモデル更新を確保。
• ソフトトレーニングされたモデルからの寄与をバランスさせるパラメータ集約方式の提案。
• モデル更新の品質とデバイスの寄与度を考慮した重み付き集約戦略の使用。
• 異なるトレーニング負荷を持つデバイス間でモデルの一貫性を維持することで、協調的収束を実現。

実験結果

リサーチクエスチョン

• RQ1 異種エッジデバイスにおけるフェデレーテッドラーニングで、計算遅延をどのように軽減できるか？
• RQ2 構造的乖離を引き起こさずに効率的なソフトトレーニングを可能にする動的マスク戦略は何か？
• RQ3 部分的にトレーヵィングされたモデルを扱うにあたり、パラメータ集約がモデル精度をどのように保持できるか？
• RQ4 動的マスクは、トレーニングスピードと収束のロバスト性をどの程度向上させるか？
• RQ5 リソースに配慮したトレーニングは、フェデレーテッドラーニングにおいてスピードアップと精度向上の両方を達成できるか？

主な発見

• ELFISHは、動的ニューロンマスクにより、さまざまな遅延状況で最大2倍のトレーニング加速を達成。
• ベースライン手法と比較して、モデルの精度が4%向上。
• 提案されたパラメータ集約方式により、協調的収束のロバスト性が向上。
• 動的マスクにより、計算能力が異なるデバイス間での同期トレーニングが可能に。
• ニューロンマスクによるソフトトレーニングにより、モデルの整合性が維持され、構造的乖離が回避。
• 実世界のエッジ環境において、計算効率とモデルパフォーマンスの両立を効果的に実現。