[論文レビュー] Federated Skewed Label Learning with Logits Fusion

Yuwei Wang, Runhan Li+6 more|arXiv (Cornell University)|Nov 14, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、各クライアントでのローカルな強力なモデルとプライベートな弱学習器のログイットを融合させることで、ラベル分布の偏りを軽減する新しいフェデレーテッドラーニングフレームワーク、FedBalanceを提案する。ログイット融合による最適化のキャリブレーションにより、少数クラスの誤分類が低減され、最先端の手法と比較してグローバルモデルの精度が最大13%向上する。

ABSTRACT

Federated learning (FL) aims to collaboratively train a shared model across multiple clients without transmitting their local data. Data heterogeneity is a critical challenge in realistic FL settings, as it causes significant performance deterioration due to discrepancies in optimization among local models. In this work, we focus on label distribution skew, a common scenario in data heterogeneity, where the data label categories are imbalanced on each client. To address this issue, we propose FedBalance, which corrects the optimization bias among local models by calibrating their logits. Specifically, we introduce an extra private weak learner on the client side, which forms an ensemble model with the local model. By fusing the logits of the two models, the private weak learner can capture the variance of different data, regardless of their category. Therefore, the optimization direction of local models can be improved by increasing the penalty for misclassifying minority classes and reducing the attention to majority classes, resulting in a better global model. Extensive experiments show that our method can gain 13\% higher average accuracy compared with state-of-the-art methods.

研究の動機と目的

• クライアント間でのラベル分布の偏りがフェデレーテッドラーニングの性能を低下させることを是正すること。
• 特に少数クラスおよび欠落クラスに対して、ローカルモデルの最適化目的をグローバルモデルと一致させること。
• 生データを共有せずに、ローカルモデルの一般化性能と信頼性を向上させること。
• データの非独立同分布性下でも、高い精度を維持しながら通信効率を向上させること。

提案手法

• 各クライアントに、特に不均衡なカテゴリのデータ分散を捉えるためのプライベートな弱学習器を導入する。
• ローカルな強力なモデルとプライベートな弱学習器のログイットを融合し、ローカルモデルの更新を誘導する。
• ログイット融合により、少数クラスの誤分類に対するペナルティを増加させ、多数クラスへの過学習を低減する。
• 知識蒸留の原則を用いて、ローカルモデルの最適化をグローバルな目的と一致させる。
• LeNetのような軽量な弱学習器を用いることで、最小限の計算負荷を維持する。
• 最適化の整合性が向上することで、通信ラウンド数を最大3.33倍まで削減し、収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 ローカルな強力なモデルとプライベートな弱学習器の間でのログイット融合は、偏ったラベルを持つフェデレーテッドラーニングにおける少数クラスの誤分類を低減できるか？
• RQ2 弱学習器の統合は、不均衡データを持つクライアント間での最適化の整合性をどのように向上させるか？
• RQ3 FedBalanceは、計算コストを増加させることなく、通信効率をどの程度向上させるか？
• RQ4 提案手法は、ラベルの偏り下で平均精度およびクラス別精度の面で最先端のベースラインを上回るか？

主な発見

• FedBalanceは、ラベルの偏りがあるベンチマークデータセットにおいて、最先端の手法と比較して平均精度が13%高い。
• クラス別精度のプロットにおける最小のシャドー信頼区間から、クライアント間でのモデル分散が低減されていることが示された。
• FedAvgと比較して3.33倍の収束速度を達成し、100ラウンドでFedAvgが達成する性能を30ラウンドで再現できた。
• 弱学習器にLeNetを使用した場合、計算コストはたった0.05%しか増加しなかった。これは最小限のオーバーヘッドであることを示している。
• 統合モデルとローカルモデルの出力間のKLダイバージェンスは1.95e-05まで低下し、強い整合性と効果的な最適化誘導が確認された。
• アブレーションスタディの結果、直接的な確率融合（例：ソフトマックス）はローカルモデルの出力を支配できず、ログイット融合がモデルの整合性を保ちつつ性能を向上させることを確認した。