[論文レビュー] Towards class imbalance in federated learning

Lixu Wang, Shichao Xu+2 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 13

ひとこと要約

本稿では、フェデレーテッドラーニング（FL）におけるクラス不均衡を検出・緩和するための新規フレームワークを提案する。プライバシーを守るモニタリング方式により、各FLラウンドにおけるデータ構成を推定し、不均衡の影響を軽減する新しい損失関数「Ratio Loss」を導入する。本手法は、ベースライン手法よりも顕著にモデル性能を向上させつつ、クライアントのデータプライバシーを保持する。

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as data imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or server, and previous methods for data imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting data imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition proportion of training data for each FL round, and design a new loss function -- Ratio Loss to mitigate the impact of the imbalance. Our experiments demonstrate the importance of detecting data imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

研究の動機と目的

• クライアント間でのデータ分布が不均衡で非IID（独立同分布でない）である状況における、フェデレーテッドラーニングにおけるクラス不均衡という未だ十分に検討されていない課題に取り組む。
• 既存のデータ不均衡対策が直接的なデータアクセスに依存するという制限を克服する。これは、プライバシー制約のためFLでは現実的ではない。
• 生データを露呈せずに、ローカルデータのクラス構成を推定するモニタリングメカニズムを設計する。これにより、不均衡の早期検出が可能になる。
• クラス不均衡の影響を軽減するための新しい損失関数「Ratio Loss」を設計する。この損失関数は、クライアントのプライバシーを保持したまま、トレーニング中に不均衡の影響を緩和する。

提案手法

• 各クライアントのローカルデータにおける相対的なクラス分布を、生データにアクセスせずに、FLラウンド間で交換される勾配を分析することで推定する監視方式を提案する。
• 勾配統計の統計的分析を用いて、各クラスの割合を推定し、リアルタイムでの不均衡検出を可能にする。
• 推定されたクラス分布に基づき、各クラスの損失重みを動的に調整する微分可能な損失関数「Ratio Loss」を導入する。これによりトレーニングのバランスが取れる。
• 監視モジュールと損失関数をフェデレーテッドラーニングのトレーニングパイプラインに統合し、サーバーがデータ不均衡の状況を認識した上でモデル更新をガイドできるようにする。
• 生データやラベルを露出させないため、暗号化された勾配のみを処理することでプライバシーを確保する。
• 標準的なFLフレームワークと互換性を持つように設計し、実世界の環境においてシームレスに導入可能である。

実験結果

リサーチクエスチョン

• RQ1 生データやラベルへの直接アクセスなしに、フェデレーテッドラーニングにおけるクラス不均衡を検出可能か？
• RQ2 勾配に基づく監視方式は、FLトレーニング中におけるローカルデータのクラス構成をどの程度正確に推定できるか？
• RQ3 新規損失関数「Ratio Loss」は、フェデレーテッドラーニングにおけるクラス不均衡が引き起こす性能低下をどの程度緩和できるか？
• RQ4 不均衡の早期検出と緩和は、収束性とモデル精度の向上に寄与するか？
• RQ5 提案手法は、クライアントのプライバシーを保持しつつ、フェデレーテッドラーニングにおけるデータ不均衡を効果的に解消できるか？

主な発見

• 提案された監視方式は、高い精度でローカルデータのクラス分布を推定でき、クライアント間でのデータ不均衡の信頼性のある検出を可能にする。
• Ratio Lossは、標準的なクロスエントロピー損失と比較して、不均衡なFL環境下でマイノリティクラスのモデル性能を顕著に向上させる。
• 監視とRatio Lossの組み合わせにより、ベースライン手法と比較して収束が速く、全体の精度も高い。
• 不均衡の早期検出と緩和は、特に高度に非IIDで偏ったデータ環境下において、より頑健で一般化しやすいモデルをもたらす。
• 本手法は、生データやラベルを露出させない暗号化された勾配のみを処理するため、クライアントのプライバシーを強く保持する。
• 実験的結果から、本手法はさまざまな不均衡度合いの下で、既存手法よりも精度および公平性指標において優れた性能を示す。