[論文レビュー] FedNoisy: Federated Noisy Label Learning Benchmark

Siqi Liang, Jintao Huang+4 more|arXiv (Cornell University)|Jun 20, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、フェデレーテッドノイジーラベル学習（FNLL）のための最初の標準化ベンチマークであるFedNoisyを紹介する。20の多様なFL設定を5つのデータセットを用いて、さまざまなラベルノイズタイプ、データ分割方式、ノイズ分布を統合的にシミュレートする統一されたパイプラインを提供する。ノイズの影響が非単調的に作用すること、およびグローバル勾配ノルムが上昇することを明らかにし、今後のFNLL手法開発に役立つ知見を提供する。

ABSTRACT

Federated learning has gained popularity for distributed learning without aggregating sensitive data from clients. But meanwhile, the distributed and isolated nature of data isolation may be complicated by data quality, making it more vulnerable to noisy labels. Many efforts exist to defend against the negative impacts of noisy labels in centralized or federated settings. However, there is a lack of a benchmark that comprehensively considers the impact of noisy labels in a wide variety of typical FL settings. In this work, we serve the first standardized benchmark that can help researchers fully explore potential federated noisy settings. Also, we conduct comprehensive experiments to explore the characteristics of these data settings and the comparison across baselines, which may guide method development in the future. We highlight the 20 basic settings for 6 datasets proposed in our benchmark and standardized simulation pipeline for federated noisy label learning, including implementations of 9 baselines. We hope this benchmark can facilitate idea verification in federated learning with noisy labels. exttt{FedNoisy} is available at \codeword{https://github.com/SMILELab-FL/FedNoisy}.

研究の動機と目的

• フェデレーテッドノイジーラベル学習（FNLL）のための標準化ベンチマークが、多様な設定において一貫した評価を可能にするという課題を解決すること。
• ラベルノイズ、データ非独立同分布（Non-IID）性、クライアント間のノイズ分布の違いを含む、現実的なフェデレーテッド学習シナリオをシミュレートすること。
• 複数のCNLL手法分野をカバーする、即時利用可能なFNLL設定とベースラインを備えた、統一的かつ拡張可能なコードベースを提供すること。
• ノイズの影響がNon-IID FL設定において非単調的に作用することを解明すること。
• トレーニングダイナミクスの新たな側面、特にノイズラベル下でのグローバル勾配ノルムの増加を明らかにし、今後のFNLL手法設計に役立てる。

提案手法

• ベンチマークは、5つのデータセット、複数のデータ分割方式（IID、ディリクレ分布を用いたNon-IID、実世界の病院データ）、多様なラベルノイズタイプ（対称的、非対称的、オープンセット、グローバライズド、ローカライズド）を組み合わせた20の基本的なフェデレーテッド学習設定をサポートする。
• 標準化されたシミュレーションパイプラインにより、ノイズ比率と分布を設定可能にし、再現可能なFNLL実験を可能にする。
• コードベースはPyTorchとFedLabに基づき構築されており、最新の集中学習におけるノイズラベル学習手法を統合した、プラグイン可能なFLトレーニングワークフローに統合された8つのFNLLベースラインを備える。
• ノイズはグローバライズド（全クライアントで同一）またはローカライズド（クライアント固有）の分布を用い、耐性を高めるためにノイズ比率を一様分布からサンプリングする。
• ノイズ比率の変化に対する性能感受性は、勾配ベースの指標 s(ε) = [acc(ε) - acc(ε+Δ)] / Δ（Δ = 0.1）を用いて定量的に評価する。
• ベンチマークは、勾配ノルムのトレーニングダイナミクスの評価を含め、制御された標準化された条件下でFNLL手法の体系的比較を可能にする。

Figure 1: Federated noise scenes provided in FedNoisy . Left: globalized noise ; middle: localized noise ; right: real-word noise . Globalized noise follows a constant noise ratio $\varepsilon_{global}$ in label corruption, while localized noise draws localized noise ratio $\varepsilon_{k}$ from a u

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズは、IIDとNon-IIDのフェデレーテッド学習設定において、ノイズ比率が異なるとどのようにモデル性能に影響を与えるか？
• RQ2 異なるデータ分割方式において、ノイズ比率の変化に対するモデル精度の感受性はどの程度か？
• RQ3 ラベルノイズは、フェデレーテッドトレーニング中、グローバルモデルの勾配ノルムにどのように影響を与えるか？IIDとNon-IIDの設定でその影響は異なるか？
• RQ4 ノイズ比が増加する中でIIDからNon-IIDに移行する際の性能低下の非単調的挙動は、新たなFNLL戦略の設計にどのように寄与できるか？
• RQ5 ノイズラベルによる勾配ノルムの増幅は、耐障害性の高いFNLLアルゴリズム設計にどのような示唆をもたらすか？

主な発見

• ノイズラベルはNon-IID設定において非単調的な影響を及ぼす可能性がある：特定のノイズレベルではNon-IIDがIIDを上回る性能を示すことがある。これはノイズとデータ非独立同分布性の複雑な相互作用を示唆する。
• ノイズ比率が低い場合、Non-IID設定はノイズに対してより感受性が高く、ノイズ対処法の改善がその分野でより大きな性能向上をもたらす。
• ノイズ比率が高くなると、Non-IIDはさらなるノイズ増加に対して感受性が低下する一方、IIDは感受性が増加する。これは高ノイズ環境ではデータ非独立同分布性の是正を優先すべきであることを示唆する。
• ノイズラベルはトレーニング中、グローバルモデルの勾配ノルムを顕著に増加させる。IID設定ではNon-IIDに比べて勾配ノルムの変動が著しく大きい。
• ノイズラベル下での勾配ノルムの増加は、FNLLにおけるノイズサンプルの検出・低減に有用なシグナルとして活用できる可能性がある。
• ベンチマークは、現在のFNLLベースラインが範囲が限定されており、しばしば僅かなCNLL手法とFLアルゴリズムの組み合わせにとどまっていることを明らかにした。これにより、より広範な手法評価の必要性が浮き彫りになった。

Figure 2: Accuracy for different noise ratios on CIFAR-10 with 10 clients. The $x$ -axis noise ratio is $\varepsilon_{global}$ for globalized noise, and $\varepsilon_{local}$ for localized noise $\mathcal{U}(\varepsilon_{local}-0.1,\varepsilon_{local}+0.1)$ . From left to right: globalized noise, lo