[論文レビュー] Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning

Wenkai Yang, Deli Chen+4 more|arXiv (Cornell University)|Jan 25, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、ローカル学習中にローカルの実データとサーバーから送信されるグローバル勾配プロトタイプを組み合わせることで分類器の再バランスを実現する、フェデレーテッド・ロングテール学習の新規手法を提案する。また、矛盾する最適化目標を解消するために二重分類器アーキテクチャを導入している。本手法は追加のデータやサーバー側のバランスデータセットを必要とせず、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Federated Learning (FL) has become a popular distributed learning paradigm that involves multiple clients training a global model collaboratively in a data privacy-preserving manner. However, the data samples usually follow a long-tailed distribution in the real world, and FL on the decentralized and long-tailed data yields a poorly-behaved global model severely biased to the head classes with the majority of the training samples. To alleviate this issue, decoupled training has recently been introduced to FL, considering it has achieved promising results in centralized long-tailed learning by re-balancing the biased classifier after the instance-balanced training. However, the current study restricts the capacity of decoupled training in federated long-tailed learning with a sub-optimal classifier re-trained on a set of pseudo features, due to the unavailability of a global balanced dataset in FL. In this work, in order to re-balance the classifier more effectively, we integrate the local real data with the global gradient prototypes to form the local balanced datasets, and thus re-balance the classifier during the local training. Furthermore, we introduce an extra classifier in the training phase to help model the global data distribution, which addresses the problem of contradictory optimization goals caused by performing classifier re-balancing locally. Extensive experiments show that our method consistently outperforms the existing state-of-the-art methods in various settings.

研究の動機と目的

• 長尾データ分布に起因するヘッドクラスへのモデルバイアスの課題に対処すること。
• 既存の分離学習手法が偽の特徴に依存し、実際のバランスデータを欠いているという制限を克服すること。
• グローバル表現学習を損なわせることなく、ローカル学習中に効果的な分類器の再バランスを実現すること。
• データプライバシーを保ちながら、特にテイルクラスにおいてモデルの一般化性能を向上させること。
• ローカルの実データとサーバーから送信されるグローバル勾配プロトタイプを活用することで、パブリックなバランスデータセットへの依存を排除すること。

提案手法

• サーバーから送信されるグローバル勾長プロトタイプとローカルの実データを混合して、ローカルにバランスの取れたデータセットを構築する。これにより、欠落しているクラスをカバーする。
• これらの混合データセットを用いてローカルで分類器の再バランスを実施し、テイルクラスの性能を向上させる。
• グローバルデータ分布をモデル化するための補助分類器を備えた二重ストリーム分類器アーキテクチャを導入し、表現学習と再バランスの間の矛盾する最適化目的を解消する。
• 再バランスの強度を制御する再バランス係数λを用い、収束速度と一般化性能のトレードオフを可能にする。
• クライアント側の実データを活用して再バランスのための信頼性の高い勾配を生成し、各クラスのデータ量が十分であることを保証するための閾値Tを導入する。
• FedAvgを用いてグローバルモデルを訓練する一方で、表現学習と再バランスを組み合わせたマルチタスク学習の目的関数を用いて分類器を更新する。

Figure 1: The full illustration of our method. We add a new global classifier $\widehat{\boldsymbol{W}}$ , and perform the instance-balanced training on the whole network (including the encoder and the two classifiers). Furthermore, we propose a novel algorithm to re-balance the original classifier

実験結果

リサーチクエスチョン

• RQ1 ローカルの実データとグローバル勾長プロトタイプを効果的に組み合わせることで、フェデレーテッド学習における分類器再バランスのための信頼性のあるローカルバランスデータセットを構築できるか？
• RQ2 グローバル勾長プロトタイプに加えてローカルの実データを含めることで、再バランス性能がどのように向上するか、単独でのグローバル勾長プロトタイプの使用と比較してどうなるか？
• RQ3 二重分類器アーキテクチャが、フェデレーテッド環境における表現学習と分類器再バランスの間の矛盾を緩和できるか？
• RQ4 再バランス強度λを調整する際、収束速度とモデル一般化性能の最適なトレードオフは何か？
• RQ5 提案手法は、長尾および二値クラス不均衡設定の両方において、既存のSOTA手法を上回る性能を示せるか？

主な発見

• CIFAR-10-LT（IR=100）において、本手法はトップ1正解率96.86%、トップ5正解率79.88%を達成し、すべてのベースラインを上回った。
• ImageNet-1000-LT（IR=100）において、本手法はトップ1正解率96.43%、トップ5正解率73.31%を達成し、新たなSOTAを樹立した。
• 二値クラス不均衡設定（IR=100）において、MNISTではトップ1正解率96.86%、CIFAR-10では96.43%を達成し、CReFFとFedAvgを上回った。
• ローカル実データを除去した場合（T=∞）、性能が著しく低下した。これは、信頼性の高い勾配推定においてローカル実データが果たす重要な役割を裏付けている。
• 再バランス係数λを小さくすると収束が遅くなるが、最終的な一般化性能が向上する。最適化において明確なトレードオフが存在することが示された。
• 本手法は、完全参加および部分的参加の両方の設定において、CReFF、FedAvg、および他のベースラインを一貫して上回った。

Figure 2: The test accuracy curves on CIFAR-10-LT with $\text{IR}=100$ under the full client participation setting. Our method achieves faster convergence speed and better performance than all existing baselines.