[論文レビュー] A Survey on Class Imbalance in Federated Learning

Jing Zhang, Chuanwen Li+2 more|arXiv (Cornell University)|Mar 21, 2023

Imbalanced Data Classification Techniques被引用数 9

ひとこと要約

本論文は連合学習におけるクラス不均衡の総合的なレビューを提供し、不均衡のタイプ、プライバシー保護型推定手法、緩和戦略、評価指標、今後の方向性を詳述する。

ABSTRACT

Federated learning, which allows multiple client devices in a network to jointly train a machine learning model without direct exposure of clients' data, is an emerging distributed learning technique due to its nature of privacy preservation. However, it has been found that models trained with federated learning usually have worse performance than their counterparts trained in the standard centralized learning mode, especially when the training data is imbalanced. In the context of federated learning, data imbalance may occur either locally one one client device, or globally across many devices. The complexity of different types of data imbalance has posed challenges to the development of federated learning technique, especially considering the need of relieving data imbalance issue and preserving data privacy at the same time. Therefore, in the literature, many attempts have been made to handle class imbalance in federated learning. In this paper, we present a detailed review of recent advancements along this line. We first introduce various types of class imbalance in federated learning, after which we review existing methods for estimating the extent of class imbalance without the need of knowing the actual data to preserve data privacy. After that, we discuss existing methods for handling class imbalance in FL, where the advantages and disadvantages of the these approaches are discussed. We also summarize common evaluation metrics for class imbalanced tasks, and point out potential future directions.

研究の動機と目的

• 連合学習におけるクラス不均衡の種類を導入し、分類する（local、global、および mismatch）。
• プライバシー制約の下で global クラス分布を推定する方法をレビューする。
• 学習、サンプリング、クラスタリング手法を含む FL におけるクラス不均衡の緩和アプローチを調査する。
• 不均衡な FL タスクの評価指標を要約し、課題と今後の方向性について論じる。

提案手法

• FL を定義し、モデルを horizontal、vertical、および federated transfer learning に分類する。
• local、global、および mismatch 不均衡を定義し、それらが FL の性能に与える影響を説明する。
• クラス分布推定手法をレビューする： local 分布からの分布導出、モデルパラメータに基づく推定、クラスタリング基づくアプローチ、ボトムアップ推定。
• 不均衡な FL タスクで用いられる評価指標とプライバシー面の考慮事項について論じる。
• 緩和戦略と今後の研究方向性の構造化された調査を提供する。

実験結果

リサーチクエスチョン

• RQ1 連合学習におけるクラス不均衡のさまざまな形態は何か、局所的および global でどう発生するのか？
• RQ2 private クライアントデータを公開せずに global クラス分布を推定するには？
• RQ3 FL におけるクラス不均衡を緩和する方法にはどのようなものがあり、それらのトレードオフは？
• RQ4 不均衡な FL シナリオに適した評価指標は何で、残るプライバシー課題は何か？

主な発見

• FL におけるクラス不均衡は local、global、および mismatch レベルで発生する可能性があり、それぞれがモデルの性能に対して独自の課題をもたらす。
• グローバル不均衡はグローバルモデルを劣化させ、収束問題を引き起こす可能性がある。ローカル不均衡はローカルモデルを害し、結果としてグローバルモデルにも悪影響を与える。
• 生データを共有せずに、モデルパラメータ、勾配、損失、または集約信号からグローバル分布を推定するプライバシー保護推定アプローチがある。
• 勾配ベースの重み付け、データ拡張、クライアントのクラスタリング、寄与のバランスを取る適応的参加など、さまざまな緩和戦略が存在する。
• 歪んだ分布下での性能低下を強調する経験的証拠があり、MNIST ベースの具体例で不均衡が進むにつれて精度が低下することを示している（例： Gamma 値）。
• 方法の分類（分布ベース、モデル信号ベース、クラスタリング、ボトムアップ推定）は、FL 不均衡処理の現状とギャップを構造的に示す。