[論文レビュー] Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout

Chen Dun, Mirian Hipolito+3 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文では、計算能力に応じて分散ドロップアウトを用いて導出されたサブモデルを異種のエッジデバイスに割り当てる、非同期フェデレーテッドラーニングフレームワークであるAsyncDropを提案する。これらのサブモデルを非同期で訓練し、更新を効率的に集約することで、最新の手法と同等またはそれ以上のテスト精度を達成しながら、通信および学習のオーバーヘッドを低減する。

ABSTRACT

Asynchronous learning protocols have regained attention lately, especially in the Federated Learning (FL) setup, where slower clients can severely impede the learning process. Herein, we propose exttt{AsyncDrop}, a novel asynchronous FL framework that utilizes dropout regularization to handle device heterogeneity in distributed settings. Overall, exttt{AsyncDrop} achieves better performance compared to state of the art asynchronous methodologies, while resulting in less communication and training time overheads. The key idea revolves around creating ``submodels'' out of the global model, and distributing their training to workers, based on device heterogeneity. We rigorously justify that such an approach can be theoretically characterized. We implement our approach and compare it against other asynchronous baselines, both by design and by adapting existing synchronous FL algorithms to asynchronous scenarios. Empirically, exttt{AsyncDrop} reduces the communication cost and training time, while matching or improving the final test accuracy in diverse non-i.i.d. FL scenarios.

研究の動機と目的

• 計算能力、メモリ、帯域幅の面でのデバイスの非均質性によって引き起こされるストラグル問題に対処すること。
• モデルの精度を損なわずに、非同期FLにおける通信および学習時間のオーバーヘッドを低減すること。
• クライアントにフルモデルではなくサブモデルを配布することによって、効率的でスケーラブルな学習を可能にすること。
• ドロップアウトを用いたサブモデル学習の非同期的かつ非i.i.d.なFL設定における理論的妥当性を裏付けること。
• 現実のエッジ環境下で、既存の非同期および同期FLベースラインを上回る収束速度および最終的な精度を達成すること。

提案手法

• ドロップアウト機構を用いて、グローバルモデルをスパースかつ重複のないサブモデルに分割する。各デバイスは、パラメータのランダムに選択されたサブセットを訓練する。
• デバイスの計算能力に応じてサブモデルを割り当てる。計算能力の高いデバイスは、より多くのサブモデルを受け取ることで、学習を加速する。
• 他のデバイスの完了を待たずに、デバイスが割り当てられたサブモデルを独立して更新できるようにすることで、非同期更新を実現し、無駄な待機時間を削減する。
• 理論的分析により、非i.i.d.データおよびデバイスの非均質性下でも収束保証が維持されることを示し、誤差伝搬およびモデルドリフトの境界を特定する。
• HogWild!（ロックフリー更新）およびIndependent Subnetwork Training（IST）の原則を統合するが、フェデレーテッドで非同期な設定に独自に応用する。
• サブモデルの重複度および更新頻度を考慮した重み付き平均化方式を用いて、サーバーが全デバイスからの更新を集約する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトによるサブモデル分割は、デバイスの非均質性下での非同期フェデレーテッドラーニングにおける学習効率を向上させることができるか？
• RQ2 サブモデルベースの非同期学習は、フルモデルの同期および非同期ベースラインと比較して、収束速度および最終的な精度においてどのように異なるか？
• RQ3 非i.i.d.なFLにおいて非同期更新を伴うサブモデル学習に対して、どのような理論的保証を提供できるか？
• RQ4 フルモデルではなくサブモデルのみを配布することで、通信および計算のオーバーヘッドを著しく低減できるか？
• RQ5 デバイス固有のサブモデル割り当ては、現実的で非均質なエッジ環境下での収束およびモデルパフォーマンスにどのように影響を与えるか？

主な発見

• 非i.i.d.なCIFAR-10およびShakespeareデータセットにおいて、同期型のFedAvgおよび他の非同期ベースラインと比較して、AsyncDropは通信コストを最大40％まで削減した。
• さまざまなエッジデバイス構成において、同期遅延の低減および効率的なサブモデル利用のおかげで、平均して35％の学習時間が短縮された。
• 評価された非i.i.i.d.データ分布すべてにおいて、AsyncDropの最終テスト精度は、FedAvg、FedProx、および他の最先端の非同期手法と同等またはそれを上回った。
• 理論的分析により、誤差伝搬が制限された範囲で、非i.i.d.データ下でも収束が保証されることを確認した。特に、勾配の陳腐化（staleness）が顕著であっても同様の結果が得られた。
• デバイスの能力に応じたサブモデル割り当ては、ランダムまたは均等な割り当てよりも、より良い負荷分散とより速い収束を実現した。
• 複数回の実行において安定したパフォーマンスを示し、データの偏りやデバイスの非均質性の度合いが変化しても、頑健性を保った。