[논문 리뷰] Towards class imbalance in federated learning

Lixu Wang, Shichao Xu외 2명|arXiv (Cornell University)|2020. 08. 14.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 13

한 줄 요약

이 논문은 프라이버시를 보장하는 모니터링 기반 기법을 도입하여 각 플러그인 라운드에서 데이터 구성 정보를 유추하고, 새로운 손실 함수인 Ratio Loss를 제안함으로써 연합 학습(FL)에서의 클래스 불균형을 탐지하고 완화하는 혁신적인 프레임워크를 제안한다. 이 방법은 기준 방법 대비 모델 성능을 크게 향상시키면서도 클라이언트 데이터의 프라이버시를 유지한다.

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as data imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or server, and previous methods for data imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting data imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition proportion of training data for each FL round, and design a new loss function -- Ratio Loss to mitigate the impact of the imbalance. Our experiments demonstrate the importance of detecting data imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

연구 동기 및 목표

• 클라이언트 간 데이터 분포가 비균형적이고 비독립적(identically distributed, IID)이 아닌 연합 학습에서의 클래스 불균형 문제에 대응한다.
• 기존의 데이터 불균형 기법이 직접적인 데이터 접근에 의존하는 데서 비롯되는 한계를 극복한다. 이는 프라이버시 제약으로 인해 FL 환경에서는 실현 가능하지 않다.
• 원시 데이터를 폭 드러내지 않고도 로컬 데이터의 클래스 구성 정보를 유추할 수 있는 모니터링 메커니즘을 설계한다. 이를 통해 불균형을 조기에 탐지할 수 있다.
• 클라이언트 프라이버시를 유지하면서도 학습 중 불균형의 부정적 영향을 완화할 수 있도록 동적 손실 가중치를 클래스별로 조정하는 새로운 손실 함수인 Ratio Loss를 개발한다.

제안 방법

• 각 클라이언트의 로컬 데이터에 대한 상대적 클래스 분포를 원시 데이터에 접근하지 않고도 교환되는 기울기 통계를 분석함으로써 유추하는 모니터링 기법을 제안한다.
• 기울기 통계의 통계적 분석을 통해 각 클래스의 비율을 추정함으로써 실시간으로 불균형을 탐지할 수 있도록 한다.
• 유추된 클래스 분포에 기반해 클래스별 손실 가중치를 동적으로 조정하는 미분 가능한 손실 함수인 Ratio Loss를 도입한다. 이를 통해 학습 과정에서 균형을 이루도록 한다.
• 모니터링 및 손실 구성 요소를 연합 학습 훈련 파이프라인에 통합함으로써 서버가 데이터 불균형을 인지한 채 모델 업데이트를 이끌 수 있도록 한다.
• 원시 클라이언트 데이터나 레이블을 폭 드러내지 않고도 암호화된 기울기만을 이용해 프라이버시를 보장한다.
• 표준 연합 학습 프레임워크와의 호환성을 고려해 설계하여 실세계 환경에서의 원활한 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접적인 클라이언트 데이터 또는 레이블에 접근하지 않고도 연합 학습에서 클래스 불균형을 탐지할 수 있는가?
• RQ2 기울기 기반 모니터링 기법은 연합 학습 훈련 중에 로컬 데이터의 클래스 구성 비율을 얼마나 정확하게 추정할 수 있는가?
• RQ3 새로운 손실 함수인 Ratio Loss는 연합 학습에서 클래스 불균형으로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 불균형의 조기 탐지 및 완화는 수렴 속도와 모델 정확도 향상에 기여하는가?
• RQ5 제안된 방법은 데이터 불균형 문제를 효과적으로 해결하면서도 클라이언트 프라이버시를 유지할 수 있는가?

주요 결과

• 제안된 모니터링 기법은 높은 정확도로 로컬 데이터의 클래스 분포를 유추함으로써 클라이언트 간 데이터 불균형을 신뢰성 있게 탐지할 수 있다.
• Ratio Loss는 기존의 표준 크로스 엔트로피 손실 대비 불균형한 FL 환경에서 소수 클래스의 모델 성능을 크게 향상시킨다.
• 모니터링과 Ratio Loss의 조합은 기준 방법 대비 더 빠른 수렴 속도와 높은 종합 정확도를 달성한다.
• 불균형의 조기 탐지 및 완화는 특히 극도로 비IIDs 및 비균형적인 데이터 시나리오에서 더 강력하고 일반화 능력이 뛰어난 모델을 만들어낸다.
• 원시 데이터나 레이블을 폭 드러내지 않고 암호화된 기울기만을 사용함으로써 강력한 클라이언트 프라이버시 보장을 달성한다.
• 실험 결과는 다양한 불균형 수준에서 제안된 방법이 기존 방법보다 정확도 및 공정성 지표 모두에서 뛰어난 성능을 보임을 입증한다.