[논문 리뷰] Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer

Zikai Xiao, Zihan Chen외 8명|arXiv (Cornell University)|2023. 10. 11.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

Fed-GraB는 프rivacy 보장된 분산 환경에서 장수 꼬리 분포를 가진 데이터를 가진 클라이언트들 간의 학습을 개선하기 위해 자가 조정형 기울기 보정기(SGB)를 제안한다. 이는 간접적으로 유도된 전역 장수 꼬리 사전 지식을 바탕으로 클라이언트의 기울기를 동적으로 재가중함으로써 소수 클래스 성능을 향상시키면서도 주류 클래스 정확도를 유지한다. 이는 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT 및 iNaturalist에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Data privacy and long-tailed distribution are the norms rather than the exception in many real-world tasks. This paper investigates a federated long-tailed learning (Fed-LT) task in which each client holds a locally heterogeneous dataset; if the datasets can be globally aggregated, they jointly exhibit a long-tailed distribution. Under such a setting, existing federated optimization and/or centralized long-tailed learning methods hardly apply due to challenges in (a) characterizing the global long-tailed distribution under privacy constraints and (b) adjusting the local learning strategy to cope with the head-tail imbalance. In response, we propose a method termed $ exttt{Fed-GraB}$, comprised of a Self-adjusting Gradient Balancer (SGB) module that re-weights clients' gradients in a closed-loop manner, based on the feedback of global long-tailed distribution evaluated by a Direct Prior Analyzer (DPA) module. Using $ exttt{Fed-GraB}$, clients can effectively alleviate the distribution drift caused by data heterogeneity during the model training process and obtain a global model with better performance on the minority classes while maintaining the performance of the majority classes. Extensive experiments demonstrate that $ exttt{Fed-GraB}$ achieves state-of-the-art performance on representative datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist.

연구 동기 및 목표

• 클라이언트가 비독립적이고 비균형적인 장수 꼬리 분포를 가진 데이터를 보유하고 있을 때, 사생활을 보호하면서도 강건한 글로벌 모델을 학습하는 문제를 해결하기 위해.
• 기존 방법들이 사생활 제약 조건 하에서 전역 사전 지식 부족으로 인해 꼬리 클래스 성능 균형을 이루지 못하는 한계를 극복하기 위해.
• 분산 장수 꼬리 학습에서 헤드 클래스와 테일 클래스 양쪽의 성능을 상호보완적으로 향상시키는 로컬 학습 전략을 설계하기 위해.
• 수동적인 하이퍼파라미터 조정 없이도 전역 클래스 불균형에 적응하는 동적이고 피드백 기반의 폐쇄 루프 기울기 재가중 기법을 제공하기 위해.

제안 방법

• 집계된 클라이언트 기울기에서 전역 장수 꼬리 클래스 분포를 추정하는 Direct Prior Analyzer(DPA) 모듈을 도입하여, 데이터 공유 없이도 사생활 보호된 전역 사전 지식 추론을 가능하게 한다.
• 전역 사전 지식에서 온 피드백을 기반으로 로컬 기울기를 재가중하는 폐쇄 루프 제어 메커니즘을 활용하는 Self-adjusting Gradient Balancer(SGB)를 제안한다.
• 오차 신호 Δ(t) − z(t)를 사용하여 재가중 계수 β를 계산하는 PID 유사 제어 전략을 적용한다. 여기서 Δ(t)는 불균형을 추적하고, z(t)는 목표 기준값이다.
• 현재 불균형과 목표 불균형 간의 차이를 기반으로 Δ(t)를 업데이트하는 피드백 메커니즘을 도입하여, 학습 중 동적으로 기울기 재균형을 실현한다.
• SGB를 각 클라이언트의 로컬 학습 루프에 통합하여 기울기 기여도를 실시간으로 조정함으로써 분포 이탈을 감소시킨다.
• 기울기 재가중을 통한 분산 평균화 기법을 활용하여 글로벌 모델 수렴을 보장하면서도 클래스별 성능를 유지한다.

Figure 1: (a): An illustration of the Fed-GraB framework, in which SGB is mounted on all classes of each client based on the prior vector $\mathcal{P}_{c}$ derived by the DPA module, ensuring federated balanced local training; (b): Comparison for the difference of positive and negative gradients.

실험 결과

연구 질문

• RQ1 분산 학습 환경에서 직접적인 데이터 공유 없이도 사생활 보호된 방식으로 전역 장수 꼬리 클래스 통계를 어떻게 추정할 수 있는가?
• RQ2 수동 하이퍼파라미터 조정 없이도 주류 클래스 정확도를 해치지 않으면서 소수 클래스 성능 향상을 위해 로컬 기울기 업데이트를 어떻게 동적으로 재가중할 수 있는가?
• RQ3 이질적이고 잠재적으로 장수 꼬리 분포가 아닌 로컬 데이터 분포를 가진 클라이언트들 간에도 폐쇄 루프 제어 메커니즘이 효과적으로 기울기를 균형 잡을 수 있는가?
• RQ4 다양한 정도의 전역 데이터 불균형과 클라이언트 수준의 데이터 이질성에 대해 제안된 방법은 얼마나 강건한가?
• RQ5 KP, KI, KD 등의 제어 파라미터가 기울기 균형 기법의 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• Fed-GraB는 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT 및 iNaturalist에서 최신 기술(SOTA) 성능을 달성하며, 소수 클래스 정확도를 크게 향상시키면서도 헤드 클래스 성능을 유지한다.
• Direct Prior Analyzer(DPA)는 클라이언트 기울기에서 전역 장수 꼬리 사전 지식을 효과적으로 추론하여 데이터 泄露 없이도 정확한 전역 불균형 추정이 가능하다.
• Self-adjusting Gradient Balancer(SGB)는 클라이언트 간 성능 변동을 감소시키고, 데이터 이질성으로 인한 분포 이탈을 완화한다.
• 제거 실험을 통해 SGB의 폐쇄 루프 제어 메커니즘이 다양한 목표 값 z(t)에 대해 강건하며, 초기화 편향의 영향도 최소화됨을 확인했다.
• SGB는 불균형 인자 5에서 50에 이르는 다양한 환경에서 우수한 일반화 성능를 보이며, 극도로 불균형한 설정에서 더 큰 성능 향상을 기록한다.
• SGB의 계산 및 저장 오버헤드는 매우 작으며, Adam과 같은 표준 최적화 방법과 유사하여 실세계 적용에 실용적이다.

Figure 2: An example of the global and local distributions of CIFAR-10-LT (Left) and CIFAR-100-LT (Right) under non-IID setting. The bar on the top demonstrates the sorted global long-tailed distribution. Each row represents the diverse statistics of class imbalance of each client.