[논문 리뷰] FOCUS: Dealing with Label Quality Disparity in Federated Learning

Yiqiang Chen, Xiaodong Yang외 4명|arXiv (Cornell University)|2020. 01. 29.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 39

한 줄 요약

FOCUS는 벤치마크 데이터 세트와 상호 교차 엔트로피 신뢰도 점수를 사용하여 신뢰도 가중 집계를 수행함으로써 연합 학습에서 노이즈가 있는 라벨을 가진 클라이언트를 감지하고 가중치를 낮춥니다. 라벨 노이즈가 있는 상황에서 FedAvg보다 더 우수한 성능을 보입니다.

ABSTRACT

Ubiquitous systems with End-Edge-Cloud architecture are increasingly being used in healthcare applications. Federated Learning (FL) is highly useful for such applications, due to silo effect and privacy preserving. Existing FL approaches generally do not account for disparities in the quality of local data labels. However, the clients in ubiquitous systems tend to suffer from label noise due to varying skill-levels, biases or malicious tampering of the annotators. In this paper, we propose Federated Opportunistic Computing for Ubiquitous Systems (FOCUS) to address this challenge. It maintains a small set of benchmark samples on the FL server and quantifies the credibility of the client local data without directly observing them by computing the mutual cross-entropy between performance of the FL model on the local datasets and that of the client local FL model on the benchmark dataset. Then, a credit weighted orchestration is performed to adjust the weight assigned to clients in the FL model based on their credibility values. FOCUS has been experimentally evaluated on both synthetic data and real-world data. The results show that it effectively identifies clients with noisy labels and reduces their impact on the model performance, thereby significantly outperforming existing FL approaches.

연구 동기 및 목표

• 범용적인 End-Edge-Cloud 시스템에서 연합 학습의 라벨 품질 격차를 해결할 필요성을 동기부여합니다, 특히 헬스케어 분야에서.
• 원시 데이터를 접근하지 않고 로컬 데이터 품질을 측정하기 위한 프라이버시 보호 메커니즘을 제안합니다.
• 신뢰도 점수로 클라이언트 업데이트의 가중치를 매기는 Opportunistic 집계 방식을 개발합니다.
• 합성 및 실제 헬스케어 데이터 세트에서 FOCUS를 평가하여 노이즈 라벨에 대한 견고함을 보여줍니다.

제안 방법

• FL 서버에 정확하게 라벨링된 소규모 벤치마크 데이터 세트를 유지합니다.
• 클라이언트가 로컬 모델을 학습하고 서버가 벤치마크에서 로컬 모델을 평가하여 LS^k를 구합니다.
• 서버가 각 클라이언트의 로컬 데이터에서 글로벌 모델을 평가하여 LL^k를 구합니다.
• 상호 교차 엔트로피 E^k = LS^k + LL^k에서 신뢰도 C^k를 계산합니다: C^k = 1 - exp(alpha E^k) / sum_i exp(alpha E^i).
• 신뢰도 가중 FedAvg를 사용하여 업데이트를 합산합니다: M^s_t = sum_k W^k_{t-1} M^k_t with W^k_t = n_k C^k_t / sum_i (n_i C^i_t).
• 가중치의 합이 1이 되도록 유지하고 기존 FedAvg 수렴 특성을 활용하여 수렴을 보장합니다.

실험 결과

연구 질문

• RQ1 Can label noise in local datasets degrade federated learning performance under traditional FedAvg aggregation?
• RQ2 Can a credibility-based mutual cross-entropy measure effectively identify noisy-label clients without accessing raw data?
• RQ3 Does credibility-weighted aggregation mitigate the impact of noisy clients while preserving performance on accurate data?
• RQ4 What is the communication cost impact of incorporating benchmark evaluations into federated learning?

주요 결과

• FOCUS can identify noisy clients by comparing local and global model performance on a benchmark and client data, reducing their influence in aggregation.
• Under normal (all-correct labels) conditions, FOCUS matches FedAvg performance; under noisy-label conditions, FOCUS outperforms FedAvg by 5.82% accuracy on USC-HAD.
• FOCUS assigns lower weights to noisy clients, as shown by the example where a lower-weight hospital receives reduced credibility.
• FOCUS converges similarly to FedAvg and can converge faster in some scenarios while reducing overfitting to noisy data.
• Experiments on PD-Tremor show FOCUS achieving 7.24% higher accuracy than FedAvg, indicating robustness to label noise in real-world data.