[論文レビュー] FOCUS: Dealing with Label Quality Disparity in Federated Learning

Yiqiang Chen, Xiaodong Yang+4 more|arXiv (Cornell University)|Jan 29, 2020

Stochastic Gradient Optimization Techniques参考文献 8被引用数 39

ひとこと要約

FOCUSは、ベンチマークデータセットと相互クロスエントロピー信頼度スコアを用いて信頼度重み付け集約を実行することで、フェデレーテッドラーニングにおいてノイズのあるラベルを持つクライアントを検出し、重みを下げる。ラベルノイズが存在する場合、FedAvgよりも優れている。

ABSTRACT

Ubiquitous systems with End-Edge-Cloud architecture are increasingly being used in healthcare applications. Federated Learning (FL) is highly useful for such applications, due to silo effect and privacy preserving. Existing FL approaches generally do not account for disparities in the quality of local data labels. However, the clients in ubiquitous systems tend to suffer from label noise due to varying skill-levels, biases or malicious tampering of the annotators. In this paper, we propose Federated Opportunistic Computing for Ubiquitous Systems (FOCUS) to address this challenge. It maintains a small set of benchmark samples on the FL server and quantifies the credibility of the client local data without directly observing them by computing the mutual cross-entropy between performance of the FL model on the local datasets and that of the client local FL model on the benchmark dataset. Then, a credit weighted orchestration is performed to adjust the weight assigned to clients in the FL model based on their credibility values. FOCUS has been experimentally evaluated on both synthetic data and real-world data. The results show that it effectively identifies clients with noisy labels and reduces their impact on the model performance, thereby significantly outperforming existing FL approaches.

研究の動機と目的

• 医療を含む普遍的なエンド-エッジ-クラウドシステムにおけるフェデレーテッドラーニングで、ラベル品質の格差に対処する必要性を動機づける。
• 生データにアクセスせず局所データ品質を測定するプライバシー保護機構を提案する。
• 信頼度スコアでクライアントの更新を重み付けする機会主義的なアグリゲーション方式を開発する。
• 合成データと実世界の医療データセットでFOCUSを評価し、ノイズ付きラベルに対する堅牢性を示す。

提案手法

• FLサーバ上に小さなベンチマークデータセットを正確にラベル付けして維持する。
• クライアントはローカルモデルを訓練し、サーバはベンチマーク上でローカルモデルを評価してLS^kを得る。
• サーバは各クライアントのローカルデータ上でグローバルモデルを評価してLL^kを得る。
• 相互クロスエントロピー E^k = LS^k + LL^k から信頼度 C^k を算出 C^k = 1 - exp(alpha E^k) / sum_i exp(alpha E^i) で計算する。
• 信頼度重み付けFedAvgを用いて更新を集約する: M^s_t = sum_k W^k_{t-1} M^k_t, ただし W^k_t = n_k C^k_t / sum_i (n_i C^i_t)。
• 重みの和が1になるよう維持し、既存のFedAvg収束性特性を利用して収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 局所データセットのラベルノイズは、従来のFedAvg集約下でフェデレーテッドラーニングの性能を低下させうるか。
• RQ2 生データにアクセスせず、信頼度ベースの相互クロスエントロピー測度がノイズ付きラベルを持つクライアントを効果的に特定できるか。
• RQ3 信頼度重み付け集約は、ノイズのあるクライアントの影響を緩和しつつ、正確なデータの性能を維持できるか。
• RQ4 ベンチマーク評価をフェデレーテッドラーニングに組み込むことによる通信コストへの影響は何か。

主な発見

• FOCUSは、ベンチマークとクライアントデータ上で局所モデルとグローバルモデルの性能を比較することでノイズのあるクライアントを特定し、それらの集約における影響を減らす。
• 通常条件下（ラベルがすべて正しい場合）、FOCUSはFedAvgと同等の性能を示す。ノイズ付きラベル条件下では、FOCUSはUSC-HADでFedAvgを5.82%の正確性で上回る。
• FOCUSはノイズのあるクライアントに低い重みを割り当てる。例として低重みの病院が信頼度を低く受け取ることを示している。
• FOCUSはFedAvgと同様に収束し、一部のケースではより早く収束することがあり、ノイズデータへの過剰適合を減らす。
• PD-Tremorの実験では、FOCUSはFedAvgより7.24%高い正確さを達成し、実世界データにおけるラベルノイズへの堅牢性を示している。）