[論文レビュー] DistFL: Distribution-aware Federated Learning for Mobile Scenarios

Bingyan Liu, Yifeng Cai+6 more|arXiv (Cornell University)|Oct 22, 2021

Privacy-Preserving Technologies in Data参考文献 60被引用数 9

ひとこと要約

本稿では、バッチ正規化層から抽出した分布知識に基づいて非i.i.d.クライアントモデルをクラスタリングする分布に配慮したフェデレーテッドラーニングフレームワーク、DistFLを提案する。このフレームワークにより、類似したデータ分布を持つクライアントを特定・グループ化し、クラスタごとのモデル集約が可能となり、モバイル環境における強いデータスケイウィング下でも、FedAvgに比べて最大40%まで高い精度を達成する。同時に、選択的BNチャネル最適化により、プライバシーと効率性を維持する。

ABSTRACT

Federated learning (FL) has emerged as an effective solution to decentralized and privacy-preserving machine learning for mobile clients. While traditional FL has demonstrated its superiority, it ignores the non-iid (independently identically distributed) situation, which widely exists in mobile scenarios. Failing to handle non-iid situations could cause problems such as performance decreasing and possible attacks. Previous studies focus on the "symptoms" directly, as they try to improve the accuracy or detect possible attacks by adding extra steps to conventional FL models. However, previous techniques overlook the root causes for the "symptoms": blindly aggregating models with the non-iid distributions. In this paper, we try to fundamentally address the issue by decomposing the overall non-iid situation into several iid clusters and conducting aggregation in each cluster. Specifically, we propose extbf{DistFL}, a novel framework to achieve automated and accurate extbf{Dist}ribution-aware extbf{F}ederated extbf{L}earning in a cost-efficient way. DistFL achieves clustering via extracting and comparing the extit{distribution knowledge} from the uploaded models. With this framework, we are able to generate multiple personalized models with distinctive distributions and assign them to the corresponding clients. Extensive experiments on mobile scenarios with popular model architectures have demonstrated the effectiveness of DistFL.

研究の動機と目的

• モバイル環境における非i.i.i.d.データ分布下でのフェデレーテッドラーニングの性能劣化の根本的要因に対処すること。
• 既存手法が、低精度やポイズニング攻撃といった症状にのみ対処するのではなく、多様なデータ分布にわたるモデル集約の盲点に起因する根本的問題を克服すること。
• ラベル付きデータや手動チューニングを必要とせず、クライアントのデータ分布特性に基づいて自動的かつ正確かつコスト効率の良いクラスタリングを可能にすること。
• 類似したデータ分布を持つクライアントのクラスタに別々のモデルを割り当てることで、パーソナライズドモデル生成を可能にするフレームワークの設計。
• 一部のバッチ正規化層からのみ分布知識を抽出することで、計算コストを削減しつつ、プライバシーと効率性を確保すること。

提案手法

• バッチ正規化（BN）層に合成された「偽のデータ」を生成・入力することで、局所モデルから分布知識を抽出する。
• この合成データに対するモデルの応答を分布知識の代理として用い、クライアント間の類似性行列を構築する。
• 類似した分布知識を持つクライアントをクラスタリングし、全体の非i.i.d.問題を複数のi.i.d.クラスタに分解する。
• 各クラスタ内で標準的なFedAvgスタイルの平均化を別々に実行することで、収束性と精度を向上させる。
• 計算コストを削減するために、BNチャネルの一部（例：20–50%）のみを対象に知識抽出を最適化する。
• 多様なモデルアーキテクチャとシミュレートされた非i.i.d.データ分布を用いた、実世界のモバイルシナリオでのフレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 分布に配慮したクライアントモデルのクラスタリングは、非i.i.d.モバイルシナリオにおけるフェデレーテッドラーニングのパフォーマンスを向上させ得るか？
• RQ2 バッチ正規化層からの分布知識抽出は、クライアント間のデータ分布の違いを的確に捉え得るか？
• RQ3 正確なクラスタリングを実現しつつ計算コストを最小限に抑えるために、最適な分布知識ポイント数（z）と抽出比（E%）は何か？
• RQ4 手動による介入なしに、強いデータスケイウィング下でも最先端手法を上回る精度を達成できるか？
• RQ5 プライバシーを確保しつつ、正確なクラスタリングとパーソナライズドモデル生成を実現できるか？

主な発見

• DistFLは、極端なスケイウィング下でFedAvgに比べて21%～40%の高い精度を達成し、顕著な性能向上を示した。
• 100個の分布知識ポイント（z=100）を用いることで、BNチャネル抽出比（E%）にかかわらず十分なクラスタリング精度が得られ、知識量に対するロバストネスを示した。
• 分布知識ポイント数が増えるほどクラスタリング性能が向上し、十分な知識が得られていれば、BNチャネル抽出比が50%あるいは20%であっても十分な性能が得られ、計算コストの削減に寄与した。
• 類似性行列の分析から、同一の分布に属するクライアントは高い類似性を持つ明確な対角ブロックを形成しており、クラスタリング機構の有効性が裏付けられた。
• フレームワークは非i.i.d.データを複数のi.i.d.クラスタに分解でき、各クラスタごとのより正確でパーソナライズドなモデル集約を可能にした。
• 低精度やポイズニング攻撃といった症状にのみ対処するのではなく、非i.i.d.問題の根本的要因に焦点を当てたため、最先端手法を上回る性能を発揮した。