[論文レビュー] FedFMC: Sequential Efficient Federated Learning on Non-iid Data

Kavya Kopparapu, Eric W. Lin|arXiv (Cornell University)|Jun 19, 2020

Privacy-Preserving Technologies in Data参考文献 4被引用数 20

ひとこと要約

FedFMCは、データアーキタイプの類似性に基づいてデバイスを動的にフォークし、別々のグローバルモデルを更新する、画期的なフェデレーテッドラーニングフレームワークを提案する。その後、エラスティックウェイトコンsolidation（EWC）を用いてそれらを統合・統合し、統一された高パフォーマンスモデルを生成する。これは、グローバルに共有されるデータサブセットを必要とせず、FedAvgと同等以上の通信コストで非i.i.d.データに対して優れた性能を達成する。

ABSTRACT

As a mechanism for devices to update a global model without sharing data, federated learning bridges the tension between the need for data and respect for privacy. However, classic FL methods like Federated Averaging struggle with non-iid data, a prevalent situation in the real world. Previous solutions are sub-optimal as they either employ a small shared global subset of data or greater number of models with increased communication costs. We propose FedFMC (Fork-Merge-Consolidate), a method that dynamically forks devices into updating different global models then merges and consolidates separate models into one. We first show the soundness of FedFMC on simple datasets, then run several experiments comparing against baseline approaches. These experiments show that FedFMC substantially improves upon earlier approaches to non-iid data in the federated learning context without using a globally shared subset of data nor increase communication costs.

研究の動機と目的

• エッジデバイス間でのラベルスケイプがモデル性能を低下させるフェデレーテッドラーニングにおける非i.i.d.データの課題に対処する。
• グローバルに共有されるデータサブセットを必要とするか、通信コストが増加する既存手法の制限を克服する。
• モデルサイズの効率性を維持しつつ、多様なデータ分布においてより速い収束を実現する手法を開発する。
• 明示的なアーキタイプラベルなしで、1つのグローバルモデルが複数のデータアーキタイプにうまく一般化できるようにする。
• 通信効率が良く、スケーラブルであり、対立するモデル更新による性能の振動を回避するソリューションを提供する。

提案手法

• FedFMCは、ローカルモデルの性能と類似性に基づいてエッジデバイスを異なるグループに動的に分類し、各グループごとに別々のグローバルモデルを形成する。
• 各グループはフェデレーテッドアベレージングを用いて、自身のグローバルモデルを独立して訓練することで、特定のデータアーキタイプに収束する。
• フォーク許容基準により、十分な訓練が終了し、時間的間隔が確保された後でのみデバイスがフォークされるようにし、不安定性を回避する。
• マージフェーズでは、エラスティックウェイトコンsolidation（EWC）を用いて、複数のグループモデルを1つのグローバルモデルに統合し、各アーキタイプからの知識を保持する。
• モデルの精度向上が止まる（プラトーに達する）タイミングで統合処理がトリガーされ、安定的かつ効果的な知識統合を保証する。
• デバイスごとのモデルサイズは常に一定のまま維持される。これは、1度に1つのモデルしか保存されないためであり、プロセス中は動的なモデルスイッチングが行われる。

実験結果

リサーチクエスチョン

• RQ1 グローバルに共有されるデータサブセットに依存せずに、非i.i.d.データにおいてフェデレーテッドラーニングがより速く収束できるか。
• RQ2 動的フォークとマージによるモデル処理は、標準的なFedAvgと比較して、多様なデータアーキタイプにわたる一般化を向上させるか。
• RQ3 マルチモデルアプローチの通信コストを、FedAvgと同等に抑えつつ、非i.i.d.データにおいてより優れたパフォーマンスを達成できるか。
• RQ4 統合フェーズでEWCが使用されることにより、全アーキタイプにおけるモデルの安定性とパフォーマンスにどのような影響を与えるか。
• RQ5 トレーニング中に複数のモデルを使用しても、エッジデバイス上のモデルサイズを一定に保てるか。

主な発見

• FedFMCは、FedAvgや他のベースラインと比較して、特にラベルスケイプの状況下で顕著に高い精度を達成する。
• グローバルに共有される5%のデータサブセットを必要とする手法よりも優れた性能を示し、そのようなデータ依存性が一切ない状態で高い精度を達成する。
• FedFMCにおける通信コストは最悪ケースでO(T²·N)にスケーリングするが、フォーク頻度が限定的であるため、実際にはFedAvgとほぼ同等の水準を維持する。
• トレーニング全体を通じてデバイスごとのモデルサイズは常に一定であり、1度に1つのモデルしか保存されないため、動的モデルスイッチングが行われる。
• EWCを用いた統合フェーズにより、複数のアーキタイプからの知識が1つの堅牢なグローバルモデルに効果的に統合された。
• FedFMCは、フォーク段階でのパーソナライズドモデルと、マージ段階での統一グローバルモデルの両方を提供し、展開の柔軟性を提供する。