[논문 리뷰] Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning

Wenkai Yang, Deli Chen외 4명|arXiv (Cornell University)|2023. 01. 25.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 로컬 훈련 중에 국소적 실재 데이터와 글로벌 기울기 프로토타입을 조합하여 분류기 재균형을 이루는 새로운 피어드된 장수배포 학습 방법을 제안한다. 이와 동시에 충돌하는 최적화 목표를 해결하기 위해 이중 분류기 아키텍처를 도입한다. 이 방법은 추가 데이터나 서버 측 균형 잡힌 데이터셋이 필요 없이 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Federated Learning (FL) has become a popular distributed learning paradigm that involves multiple clients training a global model collaboratively in a data privacy-preserving manner. However, the data samples usually follow a long-tailed distribution in the real world, and FL on the decentralized and long-tailed data yields a poorly-behaved global model severely biased to the head classes with the majority of the training samples. To alleviate this issue, decoupled training has recently been introduced to FL, considering it has achieved promising results in centralized long-tailed learning by re-balancing the biased classifier after the instance-balanced training. However, the current study restricts the capacity of decoupled training in federated long-tailed learning with a sub-optimal classifier re-trained on a set of pseudo features, due to the unavailability of a global balanced dataset in FL. In this work, in order to re-balance the classifier more effectively, we integrate the local real data with the global gradient prototypes to form the local balanced datasets, and thus re-balance the classifier during the local training. Furthermore, we introduce an extra classifier in the training phase to help model the global data distribution, which addresses the problem of contradictory optimization goals caused by performing classifier re-balancing locally. Extensive experiments show that our method consistently outperforms the existing state-of-the-art methods in various settings.

연구 동기 및 목표

• 장수배포 데이터 분포로 인해 헤드 클래스에 대한 모델 편향 문제를 해결한다.
• 가짜 특징에 의존하고 실재 균형 잡힌 데이터가 없는 기존의 분리된 훈련 방법의 한계를 극복한다.
• 글로벌 표현 학습을 손상시키지 않으면서 로컬 훈련 중에 효과적인 분류기 재균형을 가능하게 한다.
• 데이터 프라이버시를 유지하면서 모든 클래스, 특히 테일 클래스의 일반화 능력을 향상시킨다.
• 국소적 실재 데이터와 서버에서 전송된 글로벌 기울기 프로토타입을 활용하여 공개 균형 잡힌 데이터셋에 의존하는 것을 제거한다.

제안 방법

• 서버에서 전송된 글로벌 기울기 프로토타입과 국소적 실재 데이터를 혼합하여 로컬 균형 잡힌 데이터셋을 구성한다. 이는 누락된 클래스를 커버하기 위함이다.
• 이 혼합된 데이터셋을 사용해 로컬에서 분류기 재균형을 수행함으로써 테일 클래스의 성능을 향상시킨다.
• 글로벌 데이터 분포를 모델링하고 충돌하는 최적화 목표를 해결하기 위해 보조 분류기를 포함한 이중 스트림 분류기 아키텍처를 도입한다.
• 분류기 재균형의 강도를 제어하기 위해 재균형 인자 λ를 사용하며, 수렴 속도와 일반화 능력 사이의 트레이드오프를 가능하게 한다.
• 클라이언트 측 실재 데이터를 활용해 재균형을 위한 신뢰할 수 있는 기울기를 생성하며, 클래스당 데이터 충분성을 확보하기 위해 임계값 T를 사용한다.
• FedAvg를 통해 글로벌 모델을 훈련하고, 표현 학습과 재균형을 결합한 다중 작업 학습 목표를 사용해 분류기를 업데이트한다.

Figure 1: The full illustration of our method. We add a new global classifier $\widehat{\boldsymbol{W}}$ , and perform the instance-balanced training on the whole network (including the encoder and the two classifiers). Furthermore, we propose a novel algorithm to re-balance the original classifier

실험 결과

연구 질문

• RQ1 국소적 실재 데이터와 글로벌 기울기 프로토타입을 효과적으로 조합하여 피어드된 학습에서 분류기 재균형을 위한 신뢰할 수 있는 로컬 균형 잡힌 데이터셋을 만들 수 있는가?
• RQ2 글로벌 기울기 프로토타입에만 의존하는 것과 비교해 국소적 실재 데이터의 포함이 분류기 재균형 성능에 어떤 영향을 미치는가?
• RQ3 이중 분류기 아키텍처가 피어드된 환경에서 표현 학습과 분류기 재균형 간의 갈등을 완화할 수 있는가?
• RQ4 재균형 강도 λ를 조정할 때 수렴 속도와 모델 일반화 사이의 최적 트레이드오프는 무엇인가?
• RQ5 제안된 방법이 장수배포 및 이진 클래스 불균형 설정 모두에서 기존 최신 기술 수준(SOTA) 방법을 초월하는가?

주요 결과

• CIFAR-10-LT (IR=100)에서 제안된 방법은 96.86%의 top-1 정확도와 79.88%의 top-5 정확도를 기록하며 모든 베이스라인을 압도한다.
• ImageNet-1000-LT (IR=100)에서 이 방법은 96.43%의 top-1 정확도와 73.31%의 top-5 정확도를 달성하여 새로운 SOTA를 수립한다.
• 이진 클래스 불균형 설정(IR=100)에서, 이 방법은 MNIST에서 96.86%의 top-1 정확도와 CIFAR-10에서 96.43%의 top-1 정확도를 기록하며 CReFF와 FedAvg를 모두 능가한다.
• 국소적 실재 데이터를 제거할 경우 성능이 심각하게 저하됨(T=∞), 이는 신뢰할 수 있는 기울기 추정에 있어 국소적 실재 데이터의 핵심적 역할을 확인한다.
• 작은 재균형 인자 λ는 수렴 속도는 느리지만 더 나은 최종 일반화를 이끌어내며, 최적화 과정에서 명확한 트레이드오프가 있음을 시사한다.
• 모든 평가 설정에서(완전 및 부분 클라이언트 참여 포함) CReFF, FedAvg 및 기타 베이스라인보다 일관되게 뛰어난 성능을 기록한다.

Figure 2: The test accuracy curves on CIFAR-10-LT with $\text{IR}=100$ under the full client participation setting. Our method achieves faster convergence speed and better performance than all existing baselines.