[논문 리뷰] Federated Learning with Label Distribution Skew via Logits Calibration

Jie Zhang, Zhiqi Li외 5명|arXiv (Cornell University)|2022. 09. 01.

Privacy-Preserving Technologies in Data인용 수 24

한 줄 요약

논문은 연합학습에서 레이블 분포의 편향을 분석하고, 로짓 보정 기반의 손실인 FedLC를 도입하여 편향된 로컬 데이터로 인한 편향을 완화하고 글로벌 모델 성능을 향상시킨다.

ABSTRACT

Traditional federated optimization methods perform poorly with heterogeneous data (ie, accuracy reduction), especially for highly skewed data. In this paper, we investigate the label distribution skew in FL, where the distribution of labels varies across clients. First, we investigate the label distribution skew from a statistical view. We demonstrate both theoretically and empirically that previous methods based on softmax cross-entropy are not suitable, which can result in local models heavily overfitting to minority classes and missing classes. Additionally, we theoretically introduce a deviation bound to measure the deviation of the gradient after local update. At last, we propose FedLC ( extbf {Fed} erated learning via extbf {L} ogits extbf {C} alibration), which calibrates the logits before softmax cross-entropy according to the probability of occurrence of each class. FedLC applies a fine-grained calibrated cross-entropy loss to local update by adding a pairwise label margin. Extensive experiments on federated datasets and real-world datasets demonstrate that FedLC leads to a more accurate global model and much improved performance. Furthermore, integrating other FL methods into our approach can further enhance the performance of the global model.

연구 동기 및 목표

• 클라이언트의 레이블 분포 편향이 로컬 업데이트에 어떤 편향을 야기하고 FL에서 글로벌 모델에 해를 끼치는지 조사한다.
• 왜곡하에서 소프트맥스 교차엔트로피의 한계에 대한 이론적 및 경험적 연구를 제공한다.
• 연합학습에서 클래스 불균형과 누락 클래스에 대응하기 위한 보정된 크로스엔트로피 손실(FedLC)을 제안한다.
• FedLC가 다양한 비 IID 설정과 데이터셋에서 글로벌 정확도를 향상시킨다.
• FedLC를 다른 FL 방법과 통합하는 것이 성능을 어떻게 더 향상시키는지 탐구한다.

제안 방법

• 레이블 분포의 왜곡을 정의하고 클래스를 다수 클래스(majority), 소수 클래스(minority), 누락 클래스(missing)로 분류한다.
• 편향 하에서 로컬 업데이트 이후 그래디언트 편차를 정량화하기 위한 편차 상한을 도입한다.
• 클래스 사전확 probability에 기반한 per-class 마진으로 로짓을 보정하여 보정된 크로스엔트로피 손실을 도출한다.
• 최적의 한 쌍 마진 공식 Delta(y,i) = tau*(ny^{-1/4} - ni^{-1/4}) 및 대응하는 보정 손실을 제공한다.
• 보정이 편차 상한에 미치는 영향을 분석하고 학습 중 로컬 편향을 감소시킨다.
• 양 기반 및 분포 기반 편향 하에서 연합학습 및 실제 데이터셋에서 FedLC를 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 레이블 분포의 편향이 로컬 업데이트의 편향과 글로벌 FL 목표에 어떤 영향을 미치는가?
• RQ2 왜 표준 소프트맥스 교차엔트로피가 편향 하에서 적합하지 않을 수 있으며 로짓 보정이 어떻게 도움이 되는가?
• RQ3 쌍별 마진이 있는 보정된 크로스엔트로피가 소수 클래스 및 누락 클래스의 성능과 전체 글로벌 정확도를 향상시킬 수 있는가?
• RQ4 다른 FL 방법과 통합될 때 FedLC가 기존 방법과 어떻게 상호 작용하며 실험적 이득은 무엇인가?
• RQ5 제안된 보정 접근법과 함께하는 이론적 보장(편차 상한)은 무엇인가?

주요 결과

• FedLC는 CIFAR10/100, SVHN, ImageNet-subset, FEMNIST에서 레이블 편향하에서 최첨단 FL 방법들을 일관되게 능가한다.
• 보정은 로컬 업데이트의 편향을 줄이고 소수 클래스 및 누락 클래스 정확도를 향상시키며 집계의 안정성을 높인다.
• 보정된 손실은 클래스별 마진을 도입하여 대표성이 낮은 클래스에 더 큰 마진을 부여하므로 소수/누락 클래스에 더 큰 마진을 제공한다.
• 이론적 결과는 편차 상한을 보여주고 보정이 로컬 업데이트 이후 그래디언트 편차를 완화함을 보인다.
• 실험은 편향이 증가함에 따라 양 기반 및 분포 기반 편향에서 상당한 정확도 향상을 입증한다.
• FedLC를 다른 FL 방법과 통합하면 추가 성능 향상이 얻어진다.