[論文レビュー] Towards Federated Learning: Robustness Analytics to Data Heterogeneity.

Jia Qian, Xenofon Fafoutis+1 more|arXiv (Cornell University)|Feb 12, 2020

Privacy-Preserving Technologies in Data参考文献 6被引用数 8

ひとこと要約

本論文は、データの非同一性下におけるフェデレーテッドラーニング（FL）のロバスト性を調査し、エッジデバイスにおけるクラス分布のシフトとエッジでのアクティブサンプリングに注目している。広範な評価を通じて、偏ったデータ分布がある中でもFLが有効かつ正確に機能することを実証的に示しており、両シナリオにおいて強い耐性を示している。

ABSTRACT

Federated Learning allows remote centralized server training models without to access the data stored in distributed (edge) devices. Most work assume the data generated from edge devices is identically and independently sampled from a common population distribution. However, such ideal sampling may not be realistic in many contexts where edge devices correspond to units in variable context. Also, models based on intrinsic agency, such as active sampling schemes, may lead to highly biased sampling. So an imminent question is how robust Federated Learning is to biased sampling? In this work, we investigate two such scenarios. First, we study Federated Learning of a classifier from data with edge device class distribution heterogeneity. Second, we study Federated Learning of a classifier with active sampling at the edge. We present evidence in both scenarios, that federated learning is robust to data heterogeneity.

研究の動機と目的

• エッジデバイスが非i.i.d.なデータ分布を示す状況、特にクラスの不均衡な状況下でフェデレーテッドラーニングのロバスト性を評価すること。
• アクティブサンプリング戦略がFL環境下でのモデルの収束とパフォーマンスに与える影響を評価すること。
• i.i.d.仮定を越えた現実的なデータ非同一性下でも、FLが高い精度と安定性を維持できるかどうかを特定すること。
• 非理想的なデータ収集環境下におけるFLの耐性に関する実証的証拠を提供すること。

提案手法

• 著者らは、エッジデバイス間で非i.i.d.なデータ分布を持つフェデレーテッドラーニングフレームワークを設計・評価した。
• 実際のデバイスの文脈における変動を反映させるために、異なるエッジデバイスに異なるクラス分布を割り当てることで、データ非同一性をシミュレートした。
• アクティブサンプリングに関しては、不確実性や情報量に基づいてデバイスがデータを選択する内部的機械的メカニズムを実装し、トレーニングデータにバイアスを導入した。
• 複数のラウンドにわたり、FedAvgまたは類似の集約手法を用いてグローバルモデルを訓練し、さまざまな非同一性レベル下でのパフォーマンスを評価した。
• テスト精度、収束速度、分布シフトへの耐性といった標準的な指標を用いて、モデルの挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイス間でのクラス分布の非同一性が、フェデレーテッドラーニングモデルのパフォーマンスにどのように影響するか？
• RQ2 エッジデバイスがアクティブサンプリング戦略を用いる場合、フェデレーテッドラーニングは高い精度と収束安定性を維持できるか？
• RQ3 デバイスレベルの意思決定に起因するバイアスのサンプリングに対して、フェデレーテッドラーニングはどの程度ロバストか？
• RQ4 クライアント間でのデータの不均衡の度合いが、グローバルモデルの一般化にどのように影響するか？

主な発見

• フェデレーテッドラーニングは、エッジデバイスのクラス分布が著しく不均衡であっても、高いテスト精度を維持しており、データ非同一性に対して強いロバスト性を示している。
• 顕著な非i.i.d.データが存在する中でも、モデルは安定して収束し、競争力のあるパフォーマンスを達成しており、FedAvgがクラス分布のシフトに耐性があることを示している。
• エッジでのアクティブサンプリングによりデータバイアスが生じるが、グローバルモデルは依然として良好に一般化しており、FLが機械的サンプリングバイアスに耐えうることを示している。
• データ非同一性下でのパフォーマンス劣化は、同じデータを用いた集中型トレーニングと比較して最小限に抑えられており、実世界の環境下でのFLの実用的妥当性を強調している。