[論文レビュー] FedCD: Improving Performance in non-IID Federated Learning

Kavya Kopparapu, Eric W. Lin+1 more|arXiv (Cornell University)|Jun 17, 2020

Privacy-Preserving Technologies in Data参考文献 9被引用数 28

ひとこと要約

FedCDは、非IIDデータにおける性能を向上させるために、高パフォーマンスのグローバルモデルを動的にクローンし、低パフォーマンスのモデルを削除する新しいフェデレーテッドラーニングフレームワークを提案する。これにより、デバイスはデータ分布が類似したグループに自己組織化できる。CIFAR-10を用いた実験では、通信およびストレージのオーバーヘッドを最小限に抑えながら、FedAvgに比べて収束が速く、精度が高くなることが示された。

ABSTRACT

Federated learning has been widely applied to enable decentralized devices, which each have their own local data, to learn a shared model. However, learning from real-world data can be challenging, as it is rarely identically and independently distributed (IID) across edge devices (a key assumption for current high-performing and low-bandwidth algorithms). We present a novel approach, FedCD, which clones and deletes models to dynamically group devices with similar data. Experiments on the CIFAR-10 dataset show that FedCD achieves higher accuracy and faster convergence compared to a FedAvg baseline on non-IID data while incurring minimal computation, communication, and storage overheads.

研究の動機と目的

• エッジデバイス間でデータが非IIDである場合のフェデレーテッドラーニングにおける性能の悪化という課題に対処すること。
• IIDデータを仮定するFedAvgの限界を克服し、非IID環境における対立する更新の問題に対処すること。
• 完全なピアツーピア通信を必要とせず、複数のグローバルモデルを維持することで、パーソナライズドラーニングを可能にするスケーラブルな中央集権フレームワークの開発。
• 非IIDシナリオにおいて、高速な収束と高い精度を確保しながら、通信およびストレージコストを最小限に抑えること。
• モデルスコアリングと動的なクローン/削除を通じて、ローカルデータの類似性に基づいてデバイスが自己選択的にアーキタイプグループに所属することを可能にすること。

提案手法

• 所定のマイルストーンラウンドに達すると、中央サーバーはすべてのアクティブなグローバルモデルをクローンし、配布用に圧縮する。
• 各デバイスは、利用可能なすべてのモデルをローカルデータで訓練し、そのデバイスのローカルバリデーションセットにおけるパフォーマンスに基づいて、各モデルのスコアを計算する。
• サーバーは、各デバイスの更新の重み付き平均を用いて、各グローバルモデルを更新する。重みは、各モデルがそのデバイスで得たスコアに比例する。
• 各ラウンド終了後に、低スコアのモデルをデバイスのローカルストレージから削除することで、デバイス内ストレージの制限とモデルの爆発を防ぐ。
• デバイスは、ローカルデータで高スコアを達成するモデルを優先して更新することで、データ分布が類似したグループ（アーキタイプ）に自己組織化する。
• 各デバイスあたりのアクティブモデル数を制限し、量子化されたモデル圧縮を用いることで、モデルの特化性とシステム効率のバランスを保つ。

実験結果

リサーチクエスチョン

• RQ1 動的かつ複数の特化型グローバルモデルを維持することで、中央集権的なフェデレーテッドラーニングフレームワークが非IIDデータを効果的に処理できるか。
• RQ2 非IID環境下で、FedCDのモデルクローン化および削除メカニズムは、FedAvgに比べて収束速度と精度をどのように向上させるか。
• RQ3 FedCDは、パフォーマンスを維持しながら、デバイス内ストレージおよび通信のオーバーヘッドをどの程度制限できるか。
• RQ4 モデルスコアリングと選択を通じて、デバイスはデータ類似性に基づいてどのようにアーキタイプグループに自己組織化するか。
• RQ5 データバイアスのレベルを変化させた場合、FedCDにおけるモデル特化性と収束ダイナミクスにどのような影響が生じるか。

主な発見

• FedCDは、ハイパージオメトリックおよびハイアラルチカルデータ分布の両設定において、非IIDデータに対してFedAvgよりも収束が速く、精度が高かった。
• ハイアラルチカルアーキタイプ実験では、FedCDは45ラウンドで収束したのに対し、FedAvgは300ラウンド（上限）まで到達したため、ウォールクロックタイムで1.482倍の高速化が達成された。
• ハイパージオメトリック実験では、FedCDは50ラウンドで収束したが、FedAvgは300ラウンドまでかかったため、ウォールクロックタイムで3.488倍の高速化が得られた。
• トレーニング終了時点で、デバイスのモデルスコアの平均標準偏差はほぼゼロに近づき、デバイスが1〜2つの高パフォーマンスモデルに収束していることが示された。
• 各デバイスはトレーニング全体を通じて最大2つのアクティブモデルを維持しており、デバイス内ストレージおよびモデルの爆発に対する効果的な制御ができた。
• データの不均一性が増加しても、低スコアモデルの積極的削除により、アクティブモデルの数は安定し、制御不能に増加しなかった。