[論文レビュー] A review on different techniques used to combat the non-IID and heterogeneous nature of data in FL

Venkataraman Natarajan Iyer|arXiv (Cornell University)|Jan 1, 2024

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この調査は非IIDおよび異種データからの連合学習の課題をレビューし、これらの問題に対処するアルゴリズムを調査します。FedAvg variants、アンサンブル蒸留、ロバスト集約、分散相互知識移転を含む。

ABSTRACT

Federated Learning (FL) is a machine-learning approach enabling collaborative model training across multiple decentralized edge devices that hold local data samples, all without exchanging these samples. This collaborative process occurs under the supervision of a central server orchestrating the training or via a peer-to-peer network. The significance of FL is particularly pronounced in industries such as healthcare and finance, where data privacy holds paramount importance. However, training a model under the Federated learning setting brings forth several challenges, with one of the most prominent being the heterogeneity of data distribution among the edge devices. The data is typically non-independently and non-identically distributed (non-IID), thereby presenting challenges to model convergence. This report delves into the issues arising from non-IID and heterogeneous data and explores current algorithms designed to address these challenges.

研究の動機と目的

• 非IIDおよび異種データが連合学習の性能と収束を妨げる理由を説明する。
• FLにおけるデータの異質性に対処する最先端アルゴリズムを要約する。
• データ分割戦略とそれがアルゴリズムの性能に与える影響を比較する。
• 非IIDデータにおける集中型と分散型FLの利点と制限を浮き彫りにする。

提案手法

• 連合学習の基礎と非IID/異質性の課題を導入する。
• 背景としてFedAvg、FedProx、FedNova、および SCAFFOLD を提示・要約する。
• 3つの技法系統を説明する：アンサンブル蒸留（FedDF）、データラベル意識によるロバスト集約（FedLbl）、分散型相互知識移転（Def-KT）。
• FedDF蒸留プロセスの詳細：アンサンブル教員-生徒の融合とKL-divergence損失を含む。
• グローバル集約ウェイトを調整するためのラベル多様性によるFedLblのグルーピングを説明する。
• 相互依存の損失とピアツーピアのウェイト更新を含むDef-KTの相互知識移転を概説する。

Figure 1: Federated learning

実験結果

リサーチクエスチョン

• RQ1 非IIDおよび異質データが既存のFLアルゴリズムへ与える影響は何か？
• RQ2 アンサンブル蒸留、ロバスト集約、または分散学習は非IIDの影響をどのように緩和できるか？
• RQ3 提案手法は非IID設定下で標準データセットとアーキテクチャ全体でどのように機能するか？

主な発見

• 非IIDデータはモデルの精度と収束を低下させ、参加度とローカルエポックへの感度が高くなる。
• FedDFは異種データ下で精度と収束を改善し、より多くのローカルエポックで目標精度までのラウンド数を削減する。
• FedLblはラベル多様性とデータ量に基づいて更新をウェイト付けすることにより、精度と収束の点でFedAvgとFedSGDを上回る。
• Def-KTは複数のデータセットとクライアント数にわたる非IID設定で、ベースラインより高いグローバル精度とより少ない振動を達成する。
• FedProxは一部の歪み設定で異質性に対して頑健性を示す一方、SCAFFOLDのような手法は部分参加下で安定性が低い場合がある。

Figure 2: Heterogeneous data