[論文レビュー] Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features

Xinyi Shang, Yang Lu+2 more|arXiv (Cornell University)|Apr 28, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、データの非同一性と長尾クラスの不均衡に対処するため、合成されたフェデレーテッド特徴量を用いてグローバル分類器を再訓練するプライバシー保護型フェデレーテッドラーニング手法CReFFを提案する。フェデレーテッド特徴量を実データの勾配に一致させるように最適化することで、CReFFは、局所データやクラス分布を漏洩させることなく、完全なデータ再訓練と同等の性能を達成し、CIFAR-10-LTおよびImageNet-LTにおいて最先端のFL手法を上回る性能を発揮する。

ABSTRACT

Federated learning (FL) provides a privacy-preserving solution for distributed machine learning tasks. One challenging problem that severely damages the performance of FL models is the co-occurrence of data heterogeneity and long-tail distribution, which frequently appears in real FL applications. In this paper, we reveal an intriguing fact that the biased classifier is the primary factor leading to the poor performance of the global model. Motivated by the above finding, we propose a novel and privacy-preserving FL method for heterogeneous and long-tailed data via Classifier Re-training with Federated Features (CReFF). The classifier re-trained on federated features can produce comparable performance as the one re-trained on real data in a privacy-preserving manner without information leakage of local data or class distribution. Experiments on several benchmark datasets show that the proposed CReFF is an effective solution to obtain a promising FL model under heterogeneous and long-tailed data. Comparative results with the state-of-the-art FL methods also validate the superiority of CReFF. Our code is available at https://github.com/shangxinyi/CReFF-FL.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータの非同一性と長尾クラス分布の二重の課題に取り組み、これがモデル性能を著しく低下させることを目的とする。
• このような状況下で、偏った分類器がグローバルモデル性能の劣化の主な要因であることを同定することを目的とする。
• 局所データやクラス分布を暴露することなく、モデル精度を向上させるプライバシー保護型手法を開発することを目的とする。
• 実クライントデータではなく、合成されたフェデレーテッド特徴量のみを用いて、サーバー上で効果的な分類器の再訓練を可能にすることを目的とする。
• 分類器の再訓練がフェデレーテッド特徴量上で実施された場合、実データ上で再訓練した場合と同等の性能を達成できることを検証することを目的とする。

提案手法

• 本手法はフェデレーテッドラーニングを二段階に分離する：フェデレーテッドラーニングの特徴抽出（FedAvg）と、サーバー上での分類器の再訓練。
• フェデレーテッド特徴量は、実データ特徴量の勾配方向に一致させるように最適化することで、サーバー上で合成される。このための勾配一致損失関数が用いられる。
• 勾配一致損失関数により、フェデレーテッド特徴量上で訓練された分類器が、実データ上で訓練されたものと類似した最適化経路をたどることを保証する。
• 各クラスあたり少数のバランスの取れたフェデレーテッド特徴量（例：1～200個）しか生成されないため、通信およびストレージコストが最小限に抑えられる。
• 本手法はプライバシーを保護する。なぜなら、フェデレーテッド特徴量が実特徴量に類似している必要はなく、勾配のみが一致していればよいからである。
• これらの合成的でバランスの取れたフェデレーテッド特徴量を用いて、サーバー上で分類器が再訓練される。これにより、局所データやクラス分布の露出を回避できる。

実験結果

リサーチクエスチョン

• RQ1 なぜフェデレーテッド特徴量上で分類器を再訓練すると、実データ上で再訓練した場合と同等の性能が達成できるのか？
• RQ2 トレーニング中にフェデレーテッド特徴量と実データ特徴量の間の勾配類似度はどのように変化するのか？
• RQ3 合成されたフェデレーテッド特徴量は、どれほどプライバシーを保護しつつ、効果的な分類器の再訓練を可能にするのか？
• RQ4 各クラスあたり何個のフェデレーテッド特徴量があれば、顕著な性能向上が得られるのか？
• RQ5 極度のデータ非同一性と長尾不均衡の下で、CReFFは最先端のフェデレーテッドラーニング手法と比べてどのように差をつけるのか？

主な発見

• IF=100、α=0.1のCIFAR-10-LTにおいて、CReFFはFedAvgより18%の性能向上を達成し、極度の非同一性と長尾不均衡下でも高い有効性を示した。
• CIFAR-10-LTおよびImageNet-LTの両方で、CReFFはすべての最先端FL手法を上回り、多数、中数、少数のクラスにおけるすべてのショットレジーム（many-, medium-, few-shot）で最高の精度を達成した。
• 各クラスあたり1つのフェデレーテッド特徴量のみを用いても、IF=100のCIFAR-10-LTにおいて4.21%の精度向上が達成された。これは、極めて少ないデータでも高いロバスト性を示している。
• フェデレーテッド特徴量と実データ特徴量の間の勾配類似度は、数ラウンドのトレーニング内でほぼゼロにまで低下し、効果的な勾配一致が確認された。
• フェデレーテッド特徴量と実データ特徴量のコサイン類似度は高いままであり、合成された特徴量が再構築不能であることを確認した。これにより、プライバシー保護が保証された。
• CReFFの性能向上は安定的かつスケーラブルであり、各クラスあたり100～200個を超えると利得の逓減が見られた。