[論文レビュー] Addressing Class Imbalance in Federated Learning

Lixu Wang, Shichao Xu+2 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用数 5

ひとこと要約

本稿では、勾配ベースの監視方式と新しいRatio Loss関数を導入することで、フェデレーテッドラーニングにおけるクラス不均衡の検出および緩和をプライバシーを守った方法で行う手法を提案する。この手法は、生データを暴露せずに勾配更新からデータ構成を推定し、マイノリティクラスの精度を顕著に向上させる一方で、クライアントのプライバシーを維持し、既存の損失関数を上回る性能を示す。

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as class imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or servers, and previous methods for class imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting class imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition of training data for each FL round, and design a new loss function -- extbf{Ratio Loss} to mitigate the impact of the imbalance. Our experiments demonstrate the importance of acknowledging class imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

研究の動機と目的

• クライアント間でのデータ分布の不均衡がマイノリティクラスのモデル性能を著しく低下させるというフェデレーテッドラーニングにおける課題に対処すること。
• クライアントが生データや分布統計を共有する必要がないように、勾配更新からローカルデータ構成を推定できる監視方式を設計すること。
• 勾配比に基づいてサンプルの寄与度を動的に調整する新しい損失関数、Ratio Lossを開発すること。
• フェデレーテッドラーニングの訓練中にクラス不均衡の悪影響を効果的に緩和しつつ、クライアントのプライバシーを保護するソリューションを確保すること。

提案手法

• 監視モジュールが、補助データをグローバルモデルに供給し、得られる勾配更新を分析することで、各フェデレーテッドラーニングラウンドにおけるデータ構成を推定する。
• 現在のグローバルモデルの勾配と前回ラウンドの勾配を比較し、持続的な不均衡なデータ分布を検出する。
• 不均衡が継続的に検出された場合、システムはRatio Lossの使用をトリガーし、勾配寄与度に基づいてトレーニングサンプルの重みを再調整する。
• Ratio Lossは、マイノリティクラスのサンプルの勾配寄与度を多数クラスに対して増幅させることで、マイノリティクラスの影響を強化するように設計されている。
• 監視に使用される補助データは小さく（1クラスあたり32サンプル）、テストセットや参加しないクライアントからランダムに抽出され、分布シフトを避ける。
• この手法はプライバシー制約のもとで動作し、生データや分布統計の共有は一切行わず、勾配の交換のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、生クライアントデータや分布統計にアクセスせずにクラス不均衡を検出可能か？
• RQ2 プライバシー保護型監視メカニズムは、フェデレーテッドラーニングにおける勾配更新からどのようにデータ構成を推定できるか？
• RQ3 新しい損失関数であるRatio Lossは、マイノリティクラスのパフォーマンスに悪影響を及えるクラス不均衡の影響を、モデル精度を維持しながら効果的に緩和できるか？
• RQ4 既存の損失関数（例：Focal Loss、GHMC）と比較して、提案手法はパフォーマンスとプライバシーの両面で優れているか？
• RQ5 データ構成がフェデレーテッドラーニングラウンドごとに動的に変化する場合でも、システムは有効に機能するか？

主な発見

• 提案された監視方式は、勾配更新の分析によりクラス不均衡を効果的に検出し、生データを暴露せずに早期干渉を可能にした。
• Ratio Lossは、静的および動的不均衡の両状況において、CrossEntropy、Focal Loss、GHMC Lossと比較してマイノリティクラスの分類精度を顕著に向上させた。
• 実験では、データ分布がクライアント間で変動しても高い性能を維持し、非IIDおよび変化するデータ構成に対して高いロバスト性を示した。
• 実験結果から、訓練の初期段階で緩和策を適用することで、グローバルモデルが多数クラスに偏ることを防ぎ、より良い収束が達成されることが明らかになった。
• 監視に使用する補助データは、異なるライターより抽出された場合でも有効であり（例：FEMNIST）、特徴の非同一性に対しても耐性があることが示された。
• 提案手法は、標準的なフェデレーテッドラーニングおよび非フェデレーテッドラーニングの両設定において、最先端の損失関数を上回り、Ratio Lossの一般化可能性を確認した。