[논문 리뷰] FedNoisy: Federated Noisy Label Learning Benchmark

Siqi Liang, Jintao Huang외 4명|arXiv (Cornell University)|2023. 06. 20.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 5개의 데이터셋, 다양한 레이블 노이즈 유형, 데이터 분할 방식, 노이즈 분포를 포함하는 20개의 다양한 FL 설정을 시뮬레이션할 수 있는 유일한 표준화된 벤치마크인 FedNoisy를 소개한다. 이는 분산 레이블 노이즈 학습(FNLL)을 위한 표준화된 벤치마크로서, 비단 monotonic하게 영향을 미치지 않는 레이블 노이즈가 Non-IID 설정에 영향을 미칠 수 있음을 드러내며, 글로벌 기울기 노름(global gradient norm)을 증가시킨다. 이는 향후 FNLL 방법 개발에 통찰을 제공한다.

ABSTRACT

Federated learning has gained popularity for distributed learning without aggregating sensitive data from clients. But meanwhile, the distributed and isolated nature of data isolation may be complicated by data quality, making it more vulnerable to noisy labels. Many efforts exist to defend against the negative impacts of noisy labels in centralized or federated settings. However, there is a lack of a benchmark that comprehensively considers the impact of noisy labels in a wide variety of typical FL settings. In this work, we serve the first standardized benchmark that can help researchers fully explore potential federated noisy settings. Also, we conduct comprehensive experiments to explore the characteristics of these data settings and the comparison across baselines, which may guide method development in the future. We highlight the 20 basic settings for 6 datasets proposed in our benchmark and standardized simulation pipeline for federated noisy label learning, including implementations of 9 baselines. We hope this benchmark can facilitate idea verification in federated learning with noisy labels. exttt{FedNoisy} is available at \codeword{https://github.com/SMILELab-FL/FedNoisy}.

연구 동기 및 목표

• 다양한 설정 간 일관된 평가를 지원하는 분산 레이블 노이즈 학습(FNLL)을 위한 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 레이블 노이즈, 데이터 이질성, 클라이언트 간 다양한 노이즈 분포를 포함하는 실제적인 분산 시나리오를 시뮬레이션하기 위해.
• 여러 CNLL 방법론 카테고리에 걸쳐 다루는 사용자 친화적이고 확장 가능한 코드베이스를 제공하여, 즉시 사용 가능한 FNLL 설정과 베이스라인을 제공하기 위해.
• Non-IID 분산 학습 설정에서 레이블 노이즈가 모델 성능에 비단조화롭게 영향을 미치는지를 밝혀내기 위해.
• 학습 동안 기울기 노름 증가와 같은 새로운 학습 역학을 드러내어, 향후 FNLL 방법 설계에 기여하기 위해.

제안 방법

• 벤치마크는 5개의 데이터셋, 다양한 데이터 분할 방식(IID, Dirichlet 기반 Non-IID, 실제 병원 데이터), 다양한 레이블 노이즈 유형(대칭, 비대칭, 오픈세트, 글로벌라이제이션, 로컬라이제이션)을 조합한 20개의 기본 분산 설정을 지원한다.
• 표준화된 시뮬레이션 파이프라인은 구성 가능한 노이즈 비율과 분포를 사용해 노이즈 레이블을 생성하며, 재현 가능한 FNLL 실험을 가능하게 한다.
• 코드베이스는 PyTorch와 FedLab 기반으로 구축되었으며, 최신 중심화된 레이블 노이즈 학습 방법을 통합한 8개의 FNLL 베이스라인이 플러그인 가능한 FL 학습 워크플로우에 통합되어 있다.
• 노이즈는 클라이언트 간 동일한(글로벌라이제이션) 또는 클라이언트별로 다를 수 있는(로컬라이제이션) 분포로 적용되며, 강건성을 확보하기 위해 노이즈 비율은 균일 분포에서 샘플링된다.
• 노이즈 비율에 대한 성능 민감도는 기울기 기반 지표로 정량화된다: s(ε) = [acc(ε) - acc(ε+Δ)] / Δ, 여기서 Δ = 0.1이다.
• 벤치마크는 제어된 표준 조건 하에서 FNLL 방법 간 체계적인 비교를 가능하게 하며, 학습 중 기울기 노름 동역학의 평가도 가능하다.

Figure 1: Federated noise scenes provided in FedNoisy . Left: globalized noise ; middle: localized noise ; right: real-word noise . Globalized noise follows a constant noise ratio $\varepsilon_{global}$ in label corruption, while localized noise draws localized noise ratio $\varepsilon_{k}$ from a u

실험 결과

연구 질문

• RQ1 레이블 노이즈는 노이즈 비율이 다양할 때 IID와 Non-IID 분산 학습 설정 간 성능에 어떻게 다른 영향을 미치는가?
• RQ2 다양한 데이터 분할 방식에서 노이즈 비율의 변화에 따른 모델 정확도 민감도는 어떻게 되는가?
• RQ3 레이블 노이즈는 분산 학습 중 글로벌 모델의 기울기 노름에 어떤 영향을 미치며, IID와 Non-IID 설정 간 이로 인한 차이는 무엇인가?
• RQ4 노이즈 비율 증가에 따라 IID에서 Non-IID로의 성능 저하가 비단조화롭게 나타나는 현상은 새로운 FNLL 전략 개발에 어떤 통찰을 제공하는가?
• RQ5 노이즈 레이블로 인한 기울기 노름 증폭 현상은 강건한 FNLL 알고리즘 설계에 어떤 함의를 지닌다?

주요 결과

• 레이블 노이즈는 Non-IID 설정에서 비단조화적 영향을 미칠 수 있다: 특정 노이즈 수준에서는 Non-IID가 IID를 초월할 수 있으며, 이는 노이즈와 데이터 이질성 간의 복잡한 상호작용을 시사한다.
• 노이즈 비율이 낮을 경우 Non-IID 설정은 노이즈에 더 민감하며, 이는 노이즈 처리 기술 향상이 이 영역에서 더 큰 성능 향상을 가져온다는 것을 의미한다.
• 노이즈 비율이 증가함에 따라 Non-IID는 추가적인 노이즈 증가에 덜 민감해지며, 반면 IID는 더 민감해지므로 고노이즈 환경에서는 데이터 이질성을 우선적으로 다루어야 한다는 것을 시사한다.
• 노이즈 레이블은 학습 중 글로벌 모델의 기울기 노름을 크게 증가시킨다. IID 설정은 Non-IID에 비해 기울기 노름의 변동성이 더 크다.
• 노이즈 레이블 하에서 기울기 노름 증가 현상은 FNLL에서 노이즈 샘플을 탐지하고 완화하기 위한 유용한 신호가 될 수 있음을 시사한다.
• 벤치마크는 현재 FNLL의 베이스라인이 범위가 제한되어 있음을 드러내며, 일반적으로 몇 가지 CNLL 방법과 FL 알고리즘만 조합하는 경향이 있어, 더 넓은 방법론 평가의 필요성을 강조한다.

Figure 2: Accuracy for different noise ratios on CIFAR-10 with 10 clients. The $x$ -axis noise ratio is $\varepsilon_{global}$ for globalized noise, and $\varepsilon_{local}$ for localized noise $\mathcal{U}(\varepsilon_{local}-0.1,\varepsilon_{local}+0.1)$ . From left to right: globalized noise, lo