[論文レビュー] Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer

Zikai Xiao, Zihan Chen+8 more|arXiv (Cornell University)|Oct 11, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

Fed-GraB は、フェデレーテッド ロングテイル学習のための自己調整型勾配バランサー (SGB) を提案する。SGB は、直接的プライオリティアナライザー (DPA) を介して得られるグローバル ロングテイル プライオリティを用いて、クライアントの勾配を動的に再重み付けすることで、プライバシーを守りながらマイノリティ クラスのパフォーマンスを向上させ、メジャリティ クラスの精度を損なわない。本手法は、プライバシー保護型フェデレーテッド環境下で CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalist において最先端の結果を達成する。

ABSTRACT

Data privacy and long-tailed distribution are the norms rather than the exception in many real-world tasks. This paper investigates a federated long-tailed learning (Fed-LT) task in which each client holds a locally heterogeneous dataset; if the datasets can be globally aggregated, they jointly exhibit a long-tailed distribution. Under such a setting, existing federated optimization and/or centralized long-tailed learning methods hardly apply due to challenges in (a) characterizing the global long-tailed distribution under privacy constraints and (b) adjusting the local learning strategy to cope with the head-tail imbalance. In response, we propose a method termed $ exttt{Fed-GraB}$, comprised of a Self-adjusting Gradient Balancer (SGB) module that re-weights clients' gradients in a closed-loop manner, based on the feedback of global long-tailed distribution evaluated by a Direct Prior Analyzer (DPA) module. Using $ exttt{Fed-GraB}$, clients can effectively alleviate the distribution drift caused by data heterogeneity during the model training process and obtain a global model with better performance on the minority classes while maintaining the performance of the majority classes. Extensive experiments demonstrate that $ exttt{Fed-GraB}$ achieves state-of-the-art performance on representative datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist.

研究の動機と目的

• クライアントが非独立同分布（non-IID）かつロングテイルなデータ分布を持つ状況下で、プライベート データを露呈させることなく、強固なグローバル モデルを訓練する課題に対処すること。
• プライバシー制約下でグローバル プライオリティ知識が欠如しているため、既存手法がテイルクラスのパフォーマンスをバランスさせられないという限界を克服すること。
• フェデレーテッド ロングテイル学習において、ヘッドクラスとテイルクラスの両方のパフォーマンスを効果的に向上させるローカルトレーニング戦略を設計すること。
• 手動でのハイパーパrameterチューニングを必要とせず、グローバル クラスの不均衡に適応する動的でクローズド・ループ型の勾配再重み付けを可能にすること。

提案手法

• 集約されたクライアント勾配からグローバル ロングテイル クラス分布を推定する Direct Prior Analyzer (DPA) モジュールを導入し、データ共有なしにプライバシー保護型のグローバル プライオリティ推論を可能にする。
• グローバル プライオリティからのフィードバックを用いて、フィードバック制御機構を用いてローカル勾配を再重み付けする Self-adjusting Gradient Balancer (SGB) を提案する。
• 誤差信号 Δ(t) − z(t) を用いて再重み付け係数 β を計算する PID に類似した制御戦略を採用する。ここで Δ(t) は不均衡を追跡し、z(t) はターゲット リファレンスである。
• 現在の不均衡とターゲット不均衡の差異に基づいて Δ(t) を更新するフィードバック機構を採用し、トレーニング中に適応的勾配再バランシングを実現する。
• SGB を各クライアントのローカルトレーニングループに統合し、分布のずれを低減するための勾配寄与度のリアルタイム調整を可能にする。
• 勾配再重み付けを伴うフェデレーテッド アベーリージングを活用し、グローバル モデルの収束を保証するとともに、クラス固有のパフォーマンスを維持する。

Figure 1: (a): An illustration of the Fed-GraB framework, in which SGB is mounted on all classes of each client based on the prior vector $\mathcal{P}_{c}$ derived by the DPA module, ensuring federated balanced local training; (b): Comparison for the difference of positive and negative gradients.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド ラーニングにおいて、直接的なデータ共有なしに、どのようにしてプライバシー保護型でグローバル ロングテイル クラス統計を推定できるか？
• RQ2 どのようにしてローカル勾配更新を動的に再重み付けし、メジャリティ クラスの精度を損なわずマイノリティ クラスのパフォーマンスを向上できるか？
• RQ3 非均一でかつロングテイルでない可能性のあるローカルデータ分布を持つクライアント間で、クローズド・ループ制御機構が勾配を効果的にバランスできるか？
• RQ4 本手法は、グローバル データ不均衡の程度やクライアントレベルのデータ非均質性の変動に対して、どの程度頑健か？
• RQ5 制御パラメータ (KP, KI, KD) の違いが、勾配バランシング機構の安定性とパフォーマンスに与える影響は何か？

主な発見

• Fed-GraB は、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalist において最先端のパフォーマンスを達成し、テイルクラスの精度を顕著に向上させつつ、ヘッドクラスのパフォーマンスを維持する。
• Direct Prior Analyzer (DPA) は、クライアントの勾配からグローバル ロングテイル プライオリティを効果的に推定し、データ漏洩なしに正確なグローバル不均衡推定を可能にする。
• Self-adjusting Gradient Balancer (SGB) は、クライアント間のパフォーマンスばらつきを低減し、データ非均質性が引き起こす分布のずれを緩和する。
• アブレーションスタディの結果、SGB のクローズド・ループ制御機構は、さまざまなターゲット値 z(t) に対して頑健であり、初期化バイアスの影響が最小限であることが確認された。
• SGB は、不均衡要因が 5 から 50 の範囲で強く一般化し、極めて不均衡な設定でより大きな向上効果を示す。
• SGB の計算およびストレージのオーバーヘッドは非常に小さく、Adam などの標準的な最適化手法と同等であるため、実世界の展開に実用的である。

Figure 2: An example of the global and local distributions of CIFAR-10-LT (Left) and CIFAR-100-LT (Right) under non-IID setting. The bar on the top demonstrates the sorted global long-tailed distribution. Each row represents the diverse statistics of class imbalance of each client.