[논문 리뷰] Benchmarking FedAvg and FedCurv for Image Classification Tasks

Bruno Casella, Roberto Esposito외 2명|arXiv (Cornell University)|2023. 03. 31.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 비독립identical(Non-IID) 데이터 설정에서 이미지 분류를 위한 FedAvg와 FedCurv를 벤치마킹하며, 라운드당 로컬 에포크 수를 늘임으로써 성능 향상과 통신 비용 감소를 입증한다. 주요 기여는 연합 학습에서 수렴성과 정확도에 영향을 미치는 요소로 로컬 최적화의 깊이가 단지 집계 빈도 이상으로 중요한 것을 경험적으로 입증한 점이며, 특히 통계적 이종성 상황에서 그러하다.

ABSTRACT

Classic Machine Learning techniques require training on data available in a single data lake. However, aggregating data from different owners is not always convenient for different reasons, including security, privacy and secrecy. Data carry a value that might vanish when shared with others; the ability to avoid sharing the data enables industrial applications where security and privacy are of paramount importance, making it possible to train global models by implementing only local policies which can be run independently and even on air-gapped data centres. Federated Learning (FL) is a distributed machine learning approach which has emerged as an effective way to address privacy concerns by only sharing local AI models while keeping the data decentralized. Two critical challenges of Federated Learning are managing the heterogeneous systems in the same federated network and dealing with real data, which are often not independently and identically distributed (non-IID) among the clients. In this paper, we focus on the second problem, i.e., the problem of statistical heterogeneity of the data in the same federated network. In this setting, local models might be strayed far from the local optimum of the complete dataset, thus possibly hindering the convergence of the federated model. Several Federated Learning algorithms, such as FedAvg, FedProx and Federated Curvature (FedCurv), aiming at tackling the non-IID setting, have already been proposed. This work provides an empirical assessment of the behaviour of FedAvg and FedCurv in common non-IID scenarios. Results show that the number of epochs per round is an important hyper-parameter that, when tuned appropriately, can lead to significant performance gains while reducing the communication cost. As a side product of this work, we release the non-IID version of the datasets we used so to facilitate further comparisons from the FL community.

연구 동기 및 목표

• 연합 학습에서 흔히 발생하는 실제적인 비독립identical(Non-IID) 데이터 분포에서 FedAvg와 FedCurv의 성능을 평가하기 위해.
• 라운드당 로컬 학습 에포크 수가 비독립identical(Non-IID) 설정에서 수렴성과 정확도에 미치는 영향을 조사하기 위해.
• 연합 학습 커뮤니티를 위해 다섯 가지의 고유한 비독립identical(Non-IID) 데이터 분할 전략을 포함한 재현 가능한 벤치마크를 제공하기 위해.
• 향후 비교 연구를 지원하기 위해 MNIST, CIFAR10, MedMNIST 데이터셋의 비독립identical(Non-IID) 버전을 공개하기 위해.
• 연합 이미지 분류에서 통신 비용과 모델 성능 간의 상호 교환 관계를 분석하기 위해.

제안 방법

• 저자들은 세 가지 공개 이미지 데이터셋(MNIST, CIFAR10, MedMNIST)에 대해 FedAvg와 FedCurv를 구현하였다.
• 다섯 가지 비독립identical(Non-IID) 데이터 분할 전략을 생성하였다: 양상 편향, 사전 이동(세 가지 변형: 병리학적, 딜리클레, 균일), 그리고 공변량 이동.
• 각 클라이언트는 균일하지 않은 데이터 샘플 분포를 할당받아 실제 세계의 통계적 이종성을 시뮬레이션하였다.
• 모델은 다수의 라운드 동안 학습되었으며, 각 라운드는 집계 전에 E개의 로컬 에포크를 포함하였다.
• 성능는 연합 학습 후 10라운드와 100라운드에서 테스트 정확도를 측정함으로써 평가되었다.
• FedAvg와 FedCurv 양쪽 모두에서 데이터 불균형을 고려하기 위해 가중 평균 전략을 사용하였다.

실험 결과

연구 질문

• RQ1 라운드당 로컬 에포크 수가 비독립identical(Non-IID) 설정에서 FedAvg와 FedCurv의 성능에 어떤 영향을 미치는가?
• RQ2 어느 비독립identical(Non-IID) 데이터 분할 전략이 연합 학습 알고리즘에 가장 큰 도전을 주는가?
• RQ3 통계적 이종성을 다루기 위해 설계된 FedCurv가 비독립identical(Non-IID) 상황에서 항상 FedAvg를 능가하는가?
• RQ4 로컬 학습 에포크 수를 늘여 통신 횟수를 줄이면 더 높은 모델 정확도를 달성할 수 있는가?
• RQ5 동일한 비독립identical(Non-IID) 조건 하에서 다양한 이미지 데이터셋에서 FedAvg와 FedCurv는 어떻게 비교되는가?

주요 결과

• 라운드당 로컬 에포크 수를 늘임으로써 FedAvg와 FedCurv 양쪽의 테스트 정확도가 크게 향상되었으며, 10개의 에포크를 포함한 경우에도 성능 향상이 관찰되었다.
• 균일 및 공변량 이동 설정에서 FedCurv가 FedAvg를 능가하였으며, 30개의 에포크를 라운드당 사용한 후 100라운드에서 MedMNIST에서 89.45%의 정확도를 기록하였다.
• 공변량 이동 설정에서 FedAvg는 30개의 에포크를 사용한 후 CIFAR10에서 73.14%의 정확도를 기록하였고, FedCurv는 71.28%를 기록하여 중간 수준의 이종성 하에서도 뛰어난 성능를 보였다.
• 라벨 수량 편향은 가장 도전적인 비독립identical(Non-IID) 설정으로, 10라운드 후 MedMNIST에서 FedCurv는 77.70%의 정확도를 기록하였고, FedAvg는 여전히 75.07%로 경쟁적인 성능를 보였다.
• 놀랍게도, 10개의 에포크를 10라운드 동안 수행한 결과는 1개의 에포크를 100라운드 수행한 결과보다 더 높은 정확도를 기록하였으며, 이는 깊은 로컬 최적화가 통신 비용을 줄이고 성능을 향상시킬 수 있음을 시사한다.
• 병리학적 라벨 편향은 두 번째로 어려운 설정으로, 100라운드 후 MedMNIST에서 FedCurv는 82.32%의 정확도를 기록하였고, FedAvg는 79.34%를 기록하였다.