[論文レビュー] Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction

Jianyi Zhang, Ang Li+7 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

Fed-CBS は、プライバシー保護型のクラス不均衡度指標を活用することで、選択されたクライアントデータのクラス不均衡を軽減する、異種性に配慮したクライアントサンプリング手法である。非IID設定下でも、ランダムサンプリングや全クライアント参加を上回る性能を示し、テスト精度が2–7%向上し、収束速度も速い。

ABSTRACT

Due to limited communication capacities of edge devices, most existing federated learning (FL) methods randomly select only a subset of devices to participate in training for each communication round. Compared with engaging all the available clients, the random-selection mechanism can lead to significant performance degradation on non-IID (independent and identically distributed) data. In this paper, we show our key observation that the essential reason resulting in such performance degradation is the class-imbalance of the grouped data from randomly selected clients. Based on our key observation, we design an efficient heterogeneity-aware client sampling mechanism, i.e., Federated Class-balanced Sampling (Fed-CBS), which can effectively reduce class-imbalance of the group dataset from the intentionally selected clients. In particular, we propose a measure of class-imbalance and then employ homomorphic encryption to derive this measure in a privacy-preserving way. Based on this measure, we also design a computation-efficient client sampling strategy, such that the actively selected clients will generate a more class-balanced grouped dataset with theoretical guarantees. Extensive experimental results demonstrate Fed-CBS outperforms the status quo approaches. Furthermore, it achieves comparable or even better performance than the ideal setting where all the available clients participate in the FL training.

研究の動機と目的

• 非IIDデータとランダムクライアント選択による性能低下を是正すること。
• ランダムサンプリングにおける性能低下の根本原因として、グループ化されたクライアントデータにおけるクラス不均衡を特定すること。
• プライバシーを損なわず、集約された学習データのクラスバランスを維持するクライアントサンプリング手法の開発。
• クラス不均衡制約下でのクライアント選択問題に対する理論的収束保証とNP困難性解析の提供。
• 非IIDかつクラス不均衡なFL設定において、Fed-CBS がランダムサンプリングおよび全クライアント参加を上回ることの実証。

提案手法

• ローカルクライアントのデータ分布から導出される、プライバシー保護型のクラス不均衡度指標である QCID（Quantified Class-Imbalance Degree）を提案。
• QCID を最小化するようにクライアントサンプリング戦略を設計し、集約データがクラスバランスを保つようにする。
• 閾値に基づく選択メカニズムを導入し、閾値 ε をクラス数と望ましいバランスに基づいて設定する。
• 非IIDデータ下で理論的収束保証が得られるように、クライアント選択を最適化問題として定式化。
• 既存のFLアルゴリズムにプラグインモジュールとして統合し、コアトレーニング手順を変更せずに性能を向上。
• 実用的かつ効率的にNPハードなクライアント選択問題を解くために、貪欲近似アルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ非IIDなフェデレーテッドラーニング環境下でランダムクライアント選択はモデル性能を低下させるのか？
• RQ2 プライバシー保護の観点から、選択クライアントからの集約データにおけるクラス不均衡を定量的に測定できるか？
• RQ3 通信効率を維持しつつ、クラス不均衡を最小化するようにクライアントサンプリングを最適化できるか？
• RQ4 異種性に配慮したサンプリング戦略（例：Fed-CBS）は、精度および収束速度においてランダム選択や全クライアント参加を上回るか？
• RQ5 既存のFL最適化技術とFed-CBSを統合することで、さらなる性能向上が可能か？

主な発見

• Fed-CBS は QCID メトリックを最小化することで、集約学習データのクラス不均衡を低減し、モデルの汎化性能を向上させる。
• CIFAR-10（α=0.2）において、Fed-CBS はランダムクライアント選択およびベースライン手法と比較して、テスト精度を2–7%向上させる。
• FEMNIST では、75%のテスト精度に到達するまでに 980 ± 17 回の通信ラウンドで収束するが、これはランダム選択（1106 ± 24 回）を上回る。
• FEMNIST では、3550 個のクライアントのうちたった 30 個（1%未満）を選択する Fed-CBS が、ランダムに 120 個を選択する場合よりも優れた性能を発揮する。
• グローバルデータセットがクラス不均衡である場合でさえ、全クライアント参加という理想状態を上回る性能を示しており、クライアント選択におけるクラスバランスの重要性を裏付けている。
• 実験により、クラス数に基づいて ε を設定することで選択品質が向上し、M > 10 個のクライアントを選択した際に最適な性能が得られることが確認された。