[論文レビュー] FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels

Zhuowei Wang, Tianyi Zhou+3 more|arXiv (Cornell University)|May 20, 2022

Machine Learning and Data Classification被引用数 14

ひとこと要約

FedNoiL は、ノイズのあるラベルを伴うフェデレーテッドラーニングにおいて、サーバーがグローバルモデルの信頼度に基づいて高品質なクライアントを選択し、クライアントが疑似ラベルを用いてクリーンなラベルを抽出する二段階のサンプリング手法を提案する。クリーンラベル検出と半教師あり学習を統合することで、特に非同一分布のノイズと非IIDデータ分布下でも、SOTA FLとNLLの組み合わせを上回る一貫性のある優れた性能を達成する。

ABSTRACT

Federated learning (FL) aims at training a global model on the server side while the training data are collected and located at the local devices. Hence, the labels in practice are usually annotated by clients of varying expertise or criteria and thus contain different amounts of noises. Local training on noisy labels can easily result in overfitting to noisy labels, which is devastating to the global model through aggregation. Although recent robust FL methods take malicious clients into account, they have not addressed local noisy labels on each device and the impact to the global model. In this paper, we develop a simple two-level sampling method "FedNoiL" that (1) selects clients for more robust global aggregation on the server; and (2) selects clean labels and correct pseudo-labels at the client end for more robust local training. The sampling probabilities are built upon clean label detection by the global model. Moreover, we investigate different schedules changing the local epochs between aggregations over the course of FL, which notably improves the communication and computation efficiency in noisy label setting. In experiments with homogeneous/heterogeneous data distributions and noise ratios, we observed that direct combinations of SOTA FL methods with SOTA noisy-label learning methods can easily fail but our method consistently achieves better and robust performance.

研究の動機と目的

• クライアントのローカルデータに異なるノイズ比で汚染される非一様ラベルノイズの課題に対処すること。
• 既存のロバストなFL手法がローカルのラベルノイズを無視し、グローバルアグリゲーションとローカル学習の間で相互作用を欠いているという限界を克服すること。
• サーバーとクライアントの両レベルで二段階のサンプリング戦略を導入することで、ノイズのあるラベル下でのフェデレーテッドラーニングのロバスト性と性能を向上させること。
• 適応的ローカルエポックスケジューリングを用いて通信および計算効率を向上させること。初期段階ではより多くのエポックを実行し、時間経過とともに減少させる。
• SOTA FLとNLL手法の単純な組み合わせがノイズが多く非IIDな環境下で失敗することを示し、FedNoiLのような調整されたアプローチの必要性を明らかにすること。

提案手法

• サーバーはグローバルモデルの信頼度スコアを用いてクライアントレベルのサンプリングを実行し、ノイズ比が低いクライアントをグローバルアグリゲーションに優先的に選択する。
• クライアントは、グローバルモデルの予測から高い信頼度を持つ予測を持つサンプルをクリーンラベルとして選択し、ローカル学習に使用する。
• 半教師あり学習戦略では、高信頼度のサンプルをラベル付きとみなしその他のサンプルをラベルなしとみなす。ラベルなしのサンプルにはグローバルモデルからの疑似ラベルが付与される。
• クライアントおよびデータ選択のためのサンプリング確率は、グローバルモデルの予測信頼度から導出される。これはローカルモデルよりもラベルノイズに対してより頑健である。
• 適応的ローカルエポックスケジュールが採用される。初期段階では多くのローカルエポックを実行し、時間経過とともに減少関数（例：対数関数的またはコサイン関数的）に従って減少させる。
• クリーンラベル検出と疑似ラベル化を統合することで、真のラベルにアクセスせずにローカルモデルの品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クライアント選択とクリーンラベルサンプリングを組み合わせた二段階サンプリング戦略は、ノイズのあるラベルを伴うフェデレーテッドラーニングにおけるロバスト性を向上させることができるか？
• RQ2 グローバルモデルの信頼度をサンプリング確率に用いることで、非一様ラベルノイズ下での性能にどのような影響を与えるか？
• RQ3 適応的ローカルエポックスケジューリングは、ノイズのあるFL環境下での収束性と通信効率にどのような影響を与えるか？
• RQ4 信頼度ベースのサンプリングと組み合わせた半教師あり学習（疑似ラベル付き）は、ローカルモデル学習にどの程度向上効果をもたらすか？
• RQ5 SOTA FLとNLL手法の単純な組み合わせはなぜ非IIDおよび高ノイズのFL環境下で失敗するのか？FedNoiLはどのようにしてこの問題を克服するか？

主な発見

• FedNoiLは、SOTA FLとNLL手法の直接的な組み合わせよりも顕著に優れた性能を達成し、高ノイズ下のCIFAR-10ではテスト精度が最大15%向上する。
• 対称的ノイズ（50%）を伴うCIFAR-10では、FedNoiLは88.05%のテスト精度を達成し、次に優れた手法を10ポイント以上上回る。
• アブレーションスタディにより、クライアントレベルとデータレベルの両方のサンプリングが不可欠であることが確認された。均一サンプリングでは高ノイズ環境下で性能が最大20%低下する。
• 半教師あり学習を除外した場合（FedNoiL†）では、テスト精度が10–15%低下し、ラベルの適合率・再現率も低下する。これはSSLの重要性を示している。
• ローカルエポックの対数関数的減少スケジュールは、特にノイズの多い初期トレーニングラウンドで通信効率とモデル収束性を向上させる。
• FedNoiLは非IIDデータや異なるノイズ比の多様な環境下でもロバストな性能を維持し、一般化能力と安定性の両面で優れた性能を示している。