[論文レビュー] Fed-Focal Loss for imbalanced data classification in Federated Learning

Dipankar Sarkar, Ankur Narang+1 more|arXiv (Cornell University)|Nov 12, 2020

Privacy-Preserving Technologies in Data参考文献 15被引用数 34

ひとこと要約

この論文はFed-Focal Lossを提案し、連合学習におけるクラス不均衡に対処するため、難しい例を優先し易い例を低重み付け、ノン IID 設定でのロバスト性を向上させる tunableなクライアントサンプリングフレームワークを使用; 実験はMNIST、FEMNIST、VSN、HARで改善を示し、不均衡なMNISTで絶対9%以上のゲインを含む。

ABSTRACT

The Federated Learning setting has a central server coordinating the training of a model on a network of devices. One of the challenges is variable training performance when the dataset has a class imbalance. In this paper, we address this by introducing a new loss function called Fed-Focal Loss. We propose to address the class imbalance by reshaping cross-entropy loss such that it down-weights the loss assigned to well-classified examples along the lines of focal loss. Additionally, by leveraging a tunable sampling framework, we take into account selective client model contributions on the central server to further focus the detector during training and hence improve its robustness. Using a detailed experimental analysis with the VIRTUAL (Variational Federated Multi-Task Learning) approach, we demonstrate consistently superior performance in both the balanced and unbalanced scenarios for MNIST, FEMNIST, VSN and HAR benchmarks. We obtain a more than 9% (absolute percentage) improvement in the unbalanced MNIST benchmark. We further show that our technique can be adopted across multiple Federated Learning algorithms to get improvements.

研究の動機と目的

• 非 IID のクライアントデータを用いた連合学習における全体的なクラス不均衡へ対処する。
• 良く分類されたサンプルの重みを下げ、難易度の高いケースに焦点を当てるFed-Focal Lossを導入する。
• 寄与するクライアントの重み付けを行う tunable なクライアントサンプリングフレームワークを取り入れる。
• バランスデータと不均衡データの条件下でMNIST、FEMNIST、VSN、HARの改善を示す。

提案手法

• Fed-Focal Lossを、αとγを用いてクラスをバランスさせ、難しい例に焦点を当てる重み付き focal loss のバリアントとして定義する (epsilon_FL(p_t) = -alpha(1-p_t)^gamma log(p_t)).
• Validation losses を用いて寄与クライアントを優先的に選択する tunable なクライアントサンプリング機構とFed-Focal Lossを組み合わせる（psiは選択バイアスを制御する）。
• 実験のバックボーンとしてbalanced および unbalancedデータ分布下の評価にVIRTUAL（variational federated multi-task learning）を使用する。
• ロバスト性と収束性を評価するため、クライアントサンプリング比率（psi）と focal-loss のハイパーパラメータ（gamma, alpha）のアブレーションを実施する。
• MLPアーキテクチャとラウンド毎のクライアント参加率0.10でMNIST、Sampled-FEMNIST、VSN、HARデータセットを評価する。

実験結果

リサーチクエスチョン

• RQ1 Fed-Focal Lossは、不均衡で非 IID データを含む連合学習における標準のクロスエントロピーより精度を改善するか？
• RQ2 tunable なクライアントサンプリング戦略はFed-Focal Loss下でグローバルモデルの性能と収束にどう影響するか？
• RQ3 Fed-Focal Lossの利点は、さまざまな連合データセット（MNIST、FEMNIST、VSN、HAR）および異なるデータ分布で頑健か？
• RQ4 gamma、alpha、psiのハイパーパラメータが性能と安定性に与える影響は？

主な発見

• Fed-Focal Lossは、 balanced および unbalanced の両方の連合設定で、すべてのテストデータセットにおいてCEより一貫した性能向上を達成。
• 不均衡な MNIST では、Fed-Focal Lossが精度で絶対値で9%超の改善を達成。
• Fed-Focal Loss with VIRTUALはIIDおよび強く非 IID のシナリオでトップの性能を維持し、Sampled-FEMNISTとHARで他手法を上回る。
• アブレーション研究ではpsiが約0.6–0.8、gammaが約2.0付近で最良の結果を示し、不均衡な MNIST では小さい gamma が有利。
• Fed-Focal Lossは標準CEと比較して収束が滑らかでトレーニングの安定性が向上する。