[논문 리뷰] Addressing Class Imbalance in Federated Learning

Lixu Wang, Shichao Xu외 2명|arXiv (Cornell University)|2020. 08. 14.

Privacy-Preserving Technologies in Data참고 문헌 66인용 수 5

한 줄 요약

이 논문은 기울기 기반 모니터링 기법과 새로운 Ratio Loss 함수를 도입하여 연합 학습에서 클래스 불균형을 탐지하고 완화하는 프라이버시 보장 방법을 제안한다. 이 방법은 원시 데이터를 폭 lộ하지 않고 기울기 업데이트에서 데이터 구성 정보를 추정함으로써 소수 클래스의 정확도를 크게 향상시키며, 클라이언트의 프라이버시를 유지하면서도 기존 손실 함수들을 능가한다.

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as class imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or servers, and previous methods for class imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting class imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition of training data for each FL round, and design a new loss function -- extbf{Ratio Loss} to mitigate the impact of the imbalance. Our experiments demonstrate the importance of acknowledging class imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

연구 동기 및 목표

• 클라이언트 간 데이터 분포의 불균형으로 인해 소수 클래스에서 모델 성능이 떨어지는 연합 학습에서의 클래스 불균형 문제를 해결하기 위해.
• 클라이언트가 원시 데이터나 분포 통계를 공유할 필요 없이 기울기 업데이트에서 국소 데이터 구성 정보를 추론할 수 있는 모니터링 기법을 설계하기 위해.
• 기울기 비율에 기반해 샘플 기여도를 동적으로 조정함으로써 불균형 영향을 완화하는 새로운 손실 함수인 Ratio Loss를 개발하기 위해.
• 학습 중 클래스 불균형의 부정적 영향을 효과적으로 완화하면서도 클라이언트 프라이버시를 유지하기 위해.

제안 방법

• 모니터링 기법은 보조 데이터를 전역 모델에 입력하고 그 결과 발생한 기울기 업데이트를 분석함으로써 매 연합 학습 라운드마다 데이터 구성 정보를 추정한다.
• 현재 전역 모델의 기울기와 이전 라운드의 기울기를 비교하여 지속적인 불균형 데이터 분포를 탐지한다.
• 불균형이 지속적으로 감지되면, 기울기 기여도에 기반해 학습 샘플의 가중치를 재조정하기 위해 Ratio Loss를 활성화한다.
• Ratio Loss는 다수 클래스 대비 소수 클래스 샘플의 기울기 기여도를 증가시켜 그 영향력을 강화하도록 설계되어 있다.
• 모니터링에 사용되는 보조 데이터는 크기가 작으며(클래스당 32개 샘플), 분포 이탈을 방지하기 위해 테스트 세트나 참여하지 않는 클라이언트로부터 무작위로 추출된다.
• 이 방법은 프라이버시 제약 조건 하에서 작동하며, 원시 데이터나 분포 통계를 서버에 공유하지 않고 기울기 교환만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 원시 클라이언트 데이터나 분포 통계에 접근하지 않고도 연합 학습 시스템이 클래스 불균형을 탐지할 수 있는가?
• RQ2 프라이버시 보장 모니터링 메커니즘은 어떻게 기울기 업데이트에서 데이터 구성 정보를 추정할 수 있는가?
• RQ3 새로운 손실 함수인 Ratio Loss는 소수 클래스에서의 모델 정확도를 유지하면서도 연합 학습에서 클래스 불균형의 영향을 효과적으로 완화할 수 있는가?
• RQ4 기존 손실 함수들(예: Focal Loss, GHMC)과 비교해 성능 및 프라이버시 측면에서 제안된 방법은 어떻게 다른가?
• RQ5 데이터 구성이 연합 학습의 각 라운드에서 동적으로 변화할 경우에도 시스템은 여전히 효과적인가?

주요 결과

• 제안된 모니터링 기법은 기울기 업데이트 분석을 통해 클래스 불균형을 성공적으로 탐지하여 원시 데이터 폭 lộ 없이 조기에 대응할 수 있다.
• Ratio Loss는 정적 및 동적 불균형 상황 모두에서 CrossEntropy, Focal Loss, GHMC Loss보다 소수 클래스의 분류 정확도를 크게 향상시킨다.
• 클라이언트 간 데이터 분포가 변동하더라도 높은 성능을 유지하여 비IIDs 및 변화하는 데이터 구성에 대해 강건함을 입증한다.
• 실험 결과, 학습 초반에 조치를 취함으로써 전역 모델이 다수 클래스 쪽으로 편향되는 것을 방지하고 더 나은 수렴 성능을 달성함을 확인했다.
• 보조 데이터가 다른 작가(예: FEMNIST에서)의 데이터에서 유래하더라도 효과적으로 작동함을 보여, 기능 이질성에 대해 강건함을 입증했다.
• 제안된 방법은 표준 연합 학습 및 비연합 학습 환경 모두에서 최첨단 손실 함수를 능가하며, Ratio Loss의 일반화 능력을 확인했다.