[論文レビュー] Helios: Heterogeneity-Aware Federated Learning with Dynamically Balanced Collaboration

Zirui Xu, Fuxun Yu+2 more|arXiv (Cornell University)|Dec 3, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用数 19

ひとこと要約

Helios は、ストレグラーを特定し、弱いデバイス上で回転ニューロン学習を用いてモデルを『ソフトトレーニング』で圧縮する方法を採用することで、協調学習を動的にバランスさせる非均質性に配慮したフェデレーテッドラーニングフレームワークであり、非IID設定下でも収束性と学習の整合性を維持しながら、最大2.5倍の学習速度向上と最大4.64%の精度向上を達成している。

ABSTRACT

In this paper, we propose Helios, a heterogeneity-aware FL framework to tackle the straggler issue. Helios identifies individual devices' heterogeneous training capability, and therefore the expected neural network model training volumes regarding the collaborative training pace. For straggling devices, a "soft-training" method is proposed to dynamically compress the original identical training model into the expected volume through a rotating neuron training approach. With extensive algorithm analysis and optimization schemes, the stragglers can be accelerated while retaining the convergence for local training as well as federated collaboration.

研究の動機と目的

• エッジデバイスの計算能力の非均質性によって引き起こされるフェデレーテッドラーニングにおけるストレグラー問題に対処すること。
• 非同期的または破棄されるアプローチでは失われる可能性があるストレグラーからの重要な学習情報を保持すること。
• 低リソースデバイスでの学習を加速させつつ、グローバルモデルの収束性と学習の整合性を維持すること。
• モデル圧縮の劣化を伴わずに、デバイス固有の学習能力に適応する動的協調メカニズムを設計すること。

提案手法

• Helios は、時間ベースの近似とリソースベースのプロファイリングを用いて、デバイス固有の学習消費をプロファイリングし、ストレグラーを特定する。
• 異なるニューロングループを順番に学習することで、元のモデルを動的に圧縮する『ソフトトレーニング』メカニズムを導入する。
• ソフトトレーニングアプローチにより、すべてのモデルパラメータが定期的に更新され、モデルの整合性が保たれ、不可逆的圧縮が防止される。
• 協調学習中の部分的モデル更新による精度ばらつきを低減するため、モデルアグリゲーション最適化スキームを適用する。
• 同期的なアグリゲーションを維持しながら、適応的モデルボリューム調整によりストレグラーの参加を加速する。

実験結果

リサーチクエスチョン

• RQ1 デバイス固有の計算非均質性に基づいて、フェデレーテッドラーニングにおけるストレグラーをどのように特定できるか？
• RQ2 動的モデル圧縮戦略は、低容量デバイスでの学習を加速させつつ、収束性と学習の整合性を保持できるか？
• RQ3 提案されたソフトトレーニング法は、非同期的またはランダムなモデル圧縮と比較して、精度と収束速度の面でどのように異なるか？
• RQ4 Helios は非IIDデータ分布下でどの程度のパフォーマンス向上を達成するか？

主な発見

• Helios は、複数の CNN モデルとデータセットにおいて、最先端手法と比較して最大2.5倍の学習速度向上を達成している。
• 特に複数のストレグラーが存在する設定において、ベースライン手法と比較して収束精度を最大4.64%向上させている。
• 非IID設定下でも、Helios は優れた精度と収束速度を維持し、同期的および非同期的フェデレーテッドラーニングのベースラインを上回っている。
• Helios のモデルアグリゲーション最適化は、最適化なしのソフトトレーニングと比較して、精度ばらつきを最大17.37%低減している。
• 6台のデバイスを用いた実験では、Helios は MNIST で4、CIFAR-10 で12、CIFAR-100 で40のアグリゲーションサイクルで収束を達成し、高速な収束を実現している。