[論文レビュー] FedFA: Federated Feature Augmentation

Tianfei Zhou, Ender Konukoğlu|arXiv (Cornell University)|Jan 30, 2023

AI in cancer detection被引用数 8

ひとこと要約

この論文は FedFA を提案し、適応的融合統計を学習してクライアント間協調を改善し生データを共有せずに特徴を拡張するフェデレーテッド学習法である。

ABSTRACT

Federated learning is a distributed paradigm that allows multiple parties to collaboratively train deep models without exchanging the raw data. However, the data distribution among clients is naturally non-i.i.d., which leads to severe degradation of the learnt model. The primary goal of this paper is to develop a robust federated learning algorithm to address feature shift in clients' samples, which can be caused by various factors, e.g., acquisition differences in medical imaging. To reach this goal, we propose FedFA to tackle federated learning from a distinct perspective of federated feature augmentation. FedFA is based on a major insight that each client's data distribution can be characterized by statistics (i.e., mean and standard deviation) of latent features; and it is likely to manipulate these local statistics globally, i.e., based on information in the entire federation, to let clients have a better sense of the underlying distribution and therefore alleviate local data bias. Based on this insight, we propose to augment each local feature statistic probabilistically based on a normal distribution, whose mean is the original statistic and variance quantifies the augmentation scope. Key to our approach is the determination of a meaningful Gaussian variance, which is accomplished by taking into account not only biased data of each individual client, but also underlying feature statistics characterized by all participating clients. We offer both theoretical and empirical justifications to verify the effectiveness of FedFA. Our code is available at https://github.com/tfzhou/FedFA.

研究の動機と目的

• raw データを公開せずに特徴拡張を通じたフェデレーテッド学習性能の向上を動機付ける。
• 表現学習を強化するためのクライアント特有の適応融合機構を提案する。
• プライバシーを保ちながら適応融合を導く統計量を計算・共有するアルゴリズムを開発する。
• method の手順に従いベースラインよりも利得を示す FedFA をフェデレーテッド設定で評価する。

提案手法

• クライアントは各クライアントの特徴統計を初期化し、ローカルデータ上で K 層の特徴抽出器を動作させる。
• FFA 層が FedFA 手続きにより局所特徴と統計を更新する。
• 適応的融合係数は特徴チャネルの分散から計算され、チャネルごとの統計を加重する。
• 分類器は拡張特徴上で動作し予測を出し、バックプロパゲーションの損失を計算する。
• クライアント間の共有統計量（Sigma）はクライアント間のばらつきを定量化し融合を導く。
• HTML への変換は mu および sigma のチャネル-wise 融合重み gamma を分散に基づき計算するプロセスを含むことを示す。

実験結果

リサーチクエスチョン

• RQ1 raw データを共有せずに per-client feature statistics の適応融合はフェデレーテッド学習の性能を改善するか？
• RQ2 クライアント特有の統計量分散は融合重みと全体精度にどのように影響するか？
• RQ3 FedFA の特徴拡張戦略は異質なクライアント間の表現学習を強化するか？

主な発見

• この方法は各クライアントで特徴と統計を更新する層ごとの FedFA 操作を定義する。
• 適応的融合係数はクライアント間の分散から計算され、チャネルごとの特徴量を加重する。
• mu および sigma チャンネル用の共有統計 Sigma の計算・利用メカニズムを含む。
• 局所トレーニングループに特徴拡張をバックプロパゲーションとともに組み込むプロトコル。
• 本文の抜粋には数値結果は含まれていない。