[논문 리뷰] Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments

Reza Nasirigerdeh, M. Bakhtiari외 5명|arXiv (Cornell University)|2020. 11. 13.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 배치 크기와 배치 수를 분리하여 국소 업데이트와 미니배치 크기 각각을 별도로 제어할 수 있도록 하는 새로운 피어드 학습 방법인 Federated Multi-Mini-Batch (FedMMB)를 제안한다. FedMMB는 최적화된 국소 학습을 통해 더 효과적인 모델 수렴을 가능하게 하여 Non-IID 환경에서 FedAvg보다 높은 정확도를 달성하면서도 통신 효율성을 유지한다.

ABSTRACT

Federated learning has faced performance and network communication challenges, especially in the environments where the data is not independent and identically distributed (IID) across the clients. To address the former challenge, we introduce the federated-centralized concordance property and show that the federated single-mini-batch training approach can achieve comparable performance as the corresponding centralized training in the Non-IID environments. To deal with the latter, we present the federated multi-mini-batch approach and illustrate that it can establish a trade-off between the performance and communication efficiency and outperforms federated averaging in the Non-IID settings.

연구 동기 및 목표

• 클라이언트 간 데이터 분포가 극도로 불균형한 Non-IID 환경에서 피어드 학습의 성능 저하 문제를 해결한다.
• 배치 크기와 국소 업데이트 수가 고정된 채로 결합되어 있어 Non-IID 환경에서 수렴과 성능이 열악한 FedAvg의 한계를 극복한다.
• 피어드 모델이 중심화된 모델과 성능 면에서 비교 가능하도록 보장하는 피어드-중앙화 일치성 성질을 도입한다.
• 피어드 학습에서 모델 성능과 통신 효율성 간의 조정 가능한 트레이드오프를 가능하게 하는 유연한 학습 프레임워크를 개발한다.

제안 방법

• 특정 조건 하에서 중심화된 학습과 성능이 일치하는 피어드-중앙화 일치성 성질을 제안한다.
• Non-IID 환경에서 중심화된 학습과 일치하는 성능을 달성하는 기준선 방법으로 피어드 단일-미니배치(FedSMB)를 도입한다.
• FedSMB의 일반화로, 배치 크기와 국소 업데이트 수(배치 수)를 별도로 지정할 수 있는 피어드 다중-미니배치(FedMMB)를 설계한다.
• FedAvg와 달리 배치 크기는 고정하고 통신 라운드당 다수의 국소 업데이트를 수행할 수 있도록 학습 과정을 분리한다.
• 서버에서 클라이언트 모델을 가중 평균하는 전략을 사용하여 FedAvg와 유사하게 모델을 통합하지만, 제어된 국소 최적화 덕분에 향상된 수렴 특성을 확보한다.
• 모델 성능을 다양한 환경에서 검증하기 위해 컨볼루션 신경망(4CFNN, VGG16)과 실제 데이터셋(CIFAR-10, HAM10000)에 모두 적용한다.

실험 결과

연구 질문

• RQ1 Non-IID 데이터 환경에서 피어드 학습 방법이 중심화된 학습과 비교해 성능이 유사한 수준에 도달할 수 있는가?
• RQ2 배치 크기를 국소 업데이트 수에서 분리하면 Non-IID 환경에서 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ3 클라이언트 간 데이터가 Non-IID일 경우 FedMMB가 정확도와 통신 효율성 면에서 FedAvg를 능가하는가?
• RQ4 클라이언트당 국소 업데이트 수를 제어하는 것이 레이블 이질적인 피어드 학습에서 모델 성능 향상에 얼마나 기여하는가?
• RQ5 FedMMB는 다양한 모델 아키텍처와 실제의 불균형 데이터셋에서도 높은 성능을 유지할 수 있는가?

주요 결과

• Non-IID-2 설정에서 4CFNN를 사용한 CIFAR-10에서 FedMMB는 최대 테스트 정확도 0.6906을 달성했으며, 동일 조건에서 FedAvg는 뿐만 아니라 0.6564에 그친다.
• FedAvg가 더 큰 배치 크기(B=500)를 사용하여 국소 업데이트 수를 20으로 줄였음에도 불구하고 정확도는 0.6654에 머물렀지만, FedMMB는 B=10, C=20 조건에서도 유의미하게 높은 성능을 기록했다.
• VGG16를 사용한 HAM10000 데이터셋에서 FedMMB는 Non-IID 환경에서 AUC 0.7431을 달성했으며, FedAvg는 0.6931을 기록하여 불균형하고 실제적인 데이터에서 뛰어난 성능을 입증했다.
• FedMMB의 성능 향상 요인은 배치 크기와 국소 업데이트 수를 분리함으로써 통신 라운드 수를 늘리지 않고도 더 효과적인 최적화를 가능하게 한다는 데 있다.
• 단일-미니배치 버전인 FedSMB는 중심화된 학습과의 일치가 Non-IID 환경에서도 달성 가능하다는 점을 입증하여 이론적 기반을 검증했다.
• FedMMB는 배치 수(C) 조절을 통해 성능과 통신 효율성 간의 조정 가능한 트레이드오프를 제공하여 다양한 자원 제약 환경에 적응 가능하다.