[논문 리뷰] Federated Skewed Label Learning with Logits Fusion

Yuwei Wang, Runhan Li외 6명|arXiv (Cornell University)|2023. 11. 14.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 각 클라이언트에서 로컬 강력 모델과 비공개 약한 학습기의 로짓을 융합함으로써 레이블 분포 편향을 완화하는 새로운 피드버벌러닝 프레임워크인 FedBalance를 제안한다. 로짓 융합을 통한 최적화 校정을 통해 소수 클래스의 오분류를 감소시키고, 최신 기법 대비 최대 13% 향상된 글로벌 모델 정확도를 달성한다.

ABSTRACT

Federated learning (FL) aims to collaboratively train a shared model across multiple clients without transmitting their local data. Data heterogeneity is a critical challenge in realistic FL settings, as it causes significant performance deterioration due to discrepancies in optimization among local models. In this work, we focus on label distribution skew, a common scenario in data heterogeneity, where the data label categories are imbalanced on each client. To address this issue, we propose FedBalance, which corrects the optimization bias among local models by calibrating their logits. Specifically, we introduce an extra private weak learner on the client side, which forms an ensemble model with the local model. By fusing the logits of the two models, the private weak learner can capture the variance of different data, regardless of their category. Therefore, the optimization direction of local models can be improved by increasing the penalty for misclassifying minority classes and reducing the attention to majority classes, resulting in a better global model. Extensive experiments show that our method can gain 13\% higher average accuracy compared with state-of-the-art methods.

연구 동기 및 목표

• 클라이언트 간 레이블 분포가 편향되어 있을 때 발생하는 성능 저하 문제를 해결하기 위해.
• 특히 소수 및 누락된 클래스에 대해 로컬 모델 최적화 목표를 글로벌 모델과 일치시키기 위해.
• 원시 데이터를 공유하지 않고도 로컬 모델의 일반화 능력과 신뢰성을 향상시키기 위해.
• 데이터 이질성 하에서도 높은 정확도를 유지하면서 통신 효율성을 향상시키기 위해.

제안 방법

• 각 클라이언트에 데이터 변동성을 포착할 수 있는 비공개 약한 학습기를 도입하여, 특히 불균형한 카테고리에 대해 유리하게 작용한다.
• 로컬 강력 모델과 비공개 약한 학습기의 로짓을 융합하여 로컬 모델 업데이트를 이끌어낸다.
• 로짓 융합을 통해 소수 클래스를 잘못 분류하는 데에 더 큰 페널티를 주고, 다수 클래스에 대한 과적합을 줄인다.
• 지식 증류 원리를 활용하여 로컬 모델 최적화를 글로벌 목표와 일치시킨다.
• LeNet과 같은 경량 약한 학습기를 사용하여 최소한의 계산 오버헤드를 유지한다.
• 개선된 최적화 일치로 수렴 속도를 향상시켜 통신 라운드 수를 최대 3.33배 감소시킨다.

실험 결과

연구 질문

• RQ1 로컬 강력 모델과 비공개 약한 학습기 간의 로짓 융합이 레이블 편향이 있는 피드버럴러닝에서 소수 클래스의 오분류를 줄일 수 있는가?
• RQ2 약한 학습기를 통합함으로써 불균형 데이터를 가진 클라이언트 간 최적화 일치가 어떻게 향상되는가?
• RQ3 FedBalance는 계산 비용을 증가시키지 않으면서 통신 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 레이블 편향 하에서 평균 정확도 및 클래스별 정확도 측면에서 최신 기준 기법을 초월하는가?

주요 결과

• FedBalance는 레이블 편향이 있는 벤치마크 데이터셋에서 최신 기준 기법 대비 평균 정확도가 최대 13% 높게 달성된다.
• 클라이언트 간 모델 분산이 감소했음을 보여주는, 클래스별 정확도 플롯에서 가장 작은 그림자 신뢰구간을 통해 확인된다.
• FedAvg 대비 수렴 속도가 3.33배 빨라져, 30라운드 만에 FedAvg의 100라운드 성능을 달성한다.
• LeNet을 약한 학습기로 사용할 경우 계산 비용이 오직 0.05%만 증가하여 극히 낮은 오버헤드를 보인다.
• 통합 모델과 로컬 모델 출력 간의 KL 발산이 1.95e-05로 감소하여 강력한 일치와 효과적인 최적화 안내를 나타낸다.
• 제거 실험 결과, 직접 확률 융합(예: 소프트맥스)은 로컬 모델 출력을 지배하지 못하는 반면, 로짓 융합은 모델의 무결성을 유지하고 성능 향상을 이룬다.