[논문 리뷰] Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning

Shaashwat Agrawal, Sagnik Sarkar외 4명|arXiv (Cornell University)|2021. 07. 15.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 5

한 줄 요약

이 논문은 밀도 기반 군집화(DBSCAN)를 사용해 모델 하이퍼파rameter 기반으로 엣지 디바이스를 군집화하고, 각 군집별로 유전 알고리즘을 적용하여 하이퍼파rameter를 진화시키는, 클러스터링된 분산 학습을 위한 새로운 하이퍼파rameter 최적화 프레임워크인 Genetic CFL을 제안한다. 비독립 동일 분포(Non-IID) 데이터 및 통신 제약 조건 하에서 이 방법은 단 10개의 학습 라운드 내로 MNIST에서 97.99%의 정확도와 CIFAR-10에서 76.88%의 정확도를 달성하여 수렴 속도와 성능을 크게 향상시킨다.

ABSTRACT

Federated learning (FL) is a distributed model for deep learning that integrates client-server architecture, edge computing, and real-time intelligence. FL has the capability of revolutionizing machine learning (ML) but lacks in the practicality of implementation due to technological limitations, communication overhead, non-IID (independent and identically distributed) data, and privacy concerns. Training a ML model over heterogeneous non-IID data highly degrades the convergence rate and performance. The existing traditional and clustered FL algorithms exhibit two main limitations, including inefficient client training and static hyper-parameter utilization. To overcome these limitations, we propose a novel hybrid algorithm, namely genetic clustered FL (Genetic CFL), that clusters edge devices based on the training hyper-parameters and genetically modifies the parameters cluster-wise. Then, we introduce an algorithm that drastically increases the individual cluster accuracy by integrating the density-based clustering and genetic hyper-parameter optimization. The results are bench-marked using MNIST handwritten digit dataset and the CIFAR-10 dataset. The proposed genetic CFL shows significant improvements and works well with realistic cases of non-IID and ambiguous data.

연구 동기 및 목표

• 기존의 및 클러스터링된 FL의 비독립 동일 분포(Non-IID) 데이터 및 정적 하이퍼파aram터 처리에 대한 한계를 해결하기 위해.
• 이질적이고 실제 환경에 가까운 분산 학습 환경에서 수렴 속도와 모델 정확도를 향상시키기 위해.
• 하이퍼파aram터 기반으로 클라이언트를 군집화하고 각 군집별로 적응적으로 최적화함으로써 통신 및 계산 오버헤드를 줄이기 위해.
• 수동 하이퍼파aram터 튜닝을 제거하기 위해 자동화되고 확장 가능한 유전 최적화 프레임워크를 도입하기 위해.

제안 방법

• 클라이언트는 학습률, 배치 크기 등 하이퍼파aram터 값에 기반해 DBSCAN을 사용해 군집화되며, 이로 인해 군집 기반의 모델 학습이 가능해진다.
• 각 군집은 고유한 하이퍼파aram터 세트를 할당받으며, 이는 지역 모델 성능 향상을 위해 유전 알고리즘을 통해 진화된다.
• 유전 알고리즘은 하이퍼파aram터 설정에 대해 선택, 교차, 변이를 수행하여 각 군집의 정확도와 수렴 속도를 최적화한다.
• 지역 학습 후 모델 집합이 이루어지며, 각 군집의 최적화된 모델이 글로벌 모델 업데이트에 기여한다.
• 프레임워크는 시간이 지남에 따라 라운드별로 군집 기반 하이퍼파aram터를 동적으로 적응시켜 데이터 이질성에 대한 유연성을 높인다.
• 시스템은 실제 비독립 동일 분포 및 모호한 데이터 조건 하에서 MNIST 및 CIFAR-10 데이터셋에 대해 평가되었다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포(Non-IID) 데이터 조건 하에서 클러스터링된 분산 학습 환경에서 하이퍼파aram터 최적화를 어떻게 적응적이고 확장 가능하게 만들 수 있는가?
• RQ2 하이퍼파aram터 기반의 밀도 기반 군집화가 이질적인 엣지 환경에서 모델 수렴과 정확도 향상에 기여하는가?
• RQ3 군집별로 유전 하이퍼파aram터를 진화시키는 것이 FL에서 정적 또는 글로벌 하이퍼파aram터 설정보다 얼마나 더 우수한가?
• RQ4 Genetic CFL 프레임워크는 높은 정확도를 유지하면서 통신 및 계산 비용을 어떻게 줄이는가?
• RQ5 기존의 군집 기반 FL 방법에 비해 Genetic CFL의 성능 향상은 정확도 및 학습 라운드 수 측면에서 얼마나 큰가?

주요 결과

• Genetic CFL은 단 10개의 학습 라운드 내로 MNIST 데이터셋에서 97.99%의 정확도를 달성하여 기준 방법보다 속도와 정확도 면에서 뛰어난 성능을 보였다.
• CIFAR-10 데이터셋에서는 10라운드 내로 76.88%의 정확도를 달성하여 복잡한 비독립 동일 분포 데이터 조건에서도 뛰어난 성능을 보였다.
• 최신 기술인 Byzantine Robustness of CFL(200라운드) 및 FedZip(20라운드)에 비해 요구되는 학습 라운드 수를 크게 줄였다.
• Genetic CFL은 MNIST에서 반복적 분산 군집화보다 우수한 성능를 보였지만, CIFAR-10에서는 혼합된 결과를 보였으며, 이는 데이터 증강 및 회전 기법이 특징 추출을 향상시키기 때문으로 분석되었다.
• 프레임워크는 높은 확장성과 적응성을 보였으며, 클라이언트 수가 증가할수록 각 군집의 하이퍼파aram터 최적화가 향상되어 성능이 향상되었다.
• 유전 최적화 통합으로 수동 하이퍼파aram터 튜닝이 필요 없어졌으며, 다양한 데이터 및 디바이스 특성에 대해 자동으로 동적 적응이 가능해졌다.