[論文レビュー] Federated Learning with Label Distribution Skew via Logits Calibration

Jie Zhang, Zhiqi Li+5 more|arXiv (Cornell University)|Sep 1, 2022

Privacy-Preserving Technologies in Data被引用数 24

ひとこと要約

本論文は連邦学習におけるラベル分布の歪みを分析し、FedLCを提案する。これは局所データの歪みから生じるバイアスを緩和し、グローバルモデルの性能を向上させるロジット較正ベースの損失である。

ABSTRACT

Traditional federated optimization methods perform poorly with heterogeneous data (ie, accuracy reduction), especially for highly skewed data. In this paper, we investigate the label distribution skew in FL, where the distribution of labels varies across clients. First, we investigate the label distribution skew from a statistical view. We demonstrate both theoretically and empirically that previous methods based on softmax cross-entropy are not suitable, which can result in local models heavily overfitting to minority classes and missing classes. Additionally, we theoretically introduce a deviation bound to measure the deviation of the gradient after local update. At last, we propose FedLC ( extbf {Fed} erated learning via extbf {L} ogits extbf {C} alibration), which calibrates the logits before softmax cross-entropy according to the probability of occurrence of each class. FedLC applies a fine-grained calibrated cross-entropy loss to local update by adding a pairwise label margin. Extensive experiments on federated datasets and real-world datasets demonstrate that FedLC leads to a more accurate global model and much improved performance. Furthermore, integrating other FL methods into our approach can further enhance the performance of the global model.

研究の動機と目的

• クライアントにおけるラベル分布の歪みが局所更新をどのようにバイアス付けし、FLにおけるグローバルモデルに害を及ぼすかを調査する。
• 歪み下でのソフトマックスクロスエントロピーの限界に関する理論的および実証的研究を提供する。
• FLにおけるクラス不均衡と欠損クラスを打破するための較正済みクロスエントロピー損失（FedLC）を提案する。
• 多様な非IID設定とデータセットに対してFedLCがグローバル精度を改善することを示す。
• FedLCを他のFL手法と統合することで性能をさらに高める可能性を探る。

提案手法

• ラベル分布の歪みを定義し、クラスを多数派、少数派、欠損の3つのカテゴリに分類する。
• 歪みによる局所更新後の勾配偏差を定量化するための偏差境界を導入する。
• クラス事前確率に基づく各クラスマージンでロジットを較正して、較正済みクロスエントロピー損失を導出する。
• 最適なペアワイズマージン公式 Delta(y,i) = tau*(ny^{-1/4} - ni^{-1/4}) および対応する較正損失を提供する。
• 較正が偏差境界に与える影響と、トレーニング中の局所バイアスの減少を分析する。
• 数量ベースおよび分布ベースの歪みの下で、連邦学習および実世界データセット上でFedLCを実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間のラベル分布の歪みは局所更新のバイアスとグローバルFL目的関数にどのように影響するか？
• RQ2 歪み下で標準のソフトマックスクロスエントロピーが適切でない理由は何か、そしてロジットの較正はどう役立つか？
• RQ3 ペアワイズマージンを用いた較正クロスエントロピーは、少数派および欠損クラスの性能と全体的なグローバル精度を改善できるか？
• RQ4 FedLCを既存のFL手法と統合した場合の相互作用と経験的利得はどのようになるか？
• RQ5 提案された較正アプローチにはどのような理論的保証（偏差境界）が付随するか？

主な発見

• FedLCは、CIFAR10/100、SVHN、ImageNet-subset、FEMNISTにおけるラベル歪みのもとで最新のFL手法を一貫して上回る。
• 較正は局所更新のバイアスを低減し、少数派および欠損クラスの精度を向上させ、アグリゲーションを安定化させる。
• 較正損失はクラスごとのマージンを導入し、低代表クラスを強調することで、少数派/欠損クラスにより大きなマージンをもたらす。
• 理論的な結果は偏差境界を示し、較正が局所更新後の勾配偏差を緩和することを示す。
• 歪みが増すにつれて数量ベースおよび分布ベースの歪み全体で大幅な精度向上を実証する。
• 他のFL手法とFedLCを統合することでさらなる性能向上が得られる。