[논문 리뷰] Accurate and Fast Federated Learning via IID and Communication-Aware Grouping

Jin‐Woo Lee, Jaehoon Oh외 3명|arXiv (Cornell University)|2020. 12. 09.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 15

한 줄 요약

이 논문은 데이터 분포 유사성(IID-aware)과 물리적 근접성(통신-aware)을 바탕으로 클라이언트를 그룹화하여 모델 정확도를 향상시키고 통신 오버헤드를 줄이는 새로운 피드버리드 학습 프레임워크인 FedAvg-IC를 제안한다. 비-IID 데이터와 네트워크 지연을 동시에 고려함으로써 FedAvg-IC는 기준 방법 대비 최대 22.2% 높은 테스트 정확도와 8.3배 빠른 수렴 속도를 달성한다.

ABSTRACT

Federated learning has emerged as a new paradigm of collaborative machine learning; however, it has also faced several challenges such as non-independent and identically distributed(IID) data and high communication cost. To this end, we propose a novel framework of IID and communication-aware group federated learning that simultaneously maximizes both accuracy and communication speed by grouping nodes based on data distributions and physical locations of the nodes. Furthermore, we provide a formal convergence analysis and an efficient optimization algorithm called FedAvg-IC. Experimental results show that, compared with the state-of-the-art algorithms, FedAvg-IC improved the test accuracy by up to 22.2% and simultaneously reduced the communication time to as small as 12%.

연구 동기 및 목표

• 피드버리드 학습에서 비-IID 데이터 분포와 높은 통신 비용이라는 이중 과제를 해결한다.
• 모델 정확도와 통신 효율성을 균형 잡는 그룹 전략을 개발한다.
• 그룹 피드버리드 학습 하에서 수렴성을 체계적으로 분석하여 최적의 그룹화 원칙을 도출한다.
• IID 및 통신 비용을 동시에 최소화하는 효율적인 최적화 알고리즘(FedAvg-IC)을 설계한다.
• 정확도와 수렴 속도 면에서 최신 기법들보다 뛰어난 성능을 입증한다.

제안 방법

• 로컬-그룹 및 그룹-글로벌 수준에서의 데이터 분포 이산도를 고려한 이목적 최적화 문제로 노드 그룹화 문제를 수립한다.
• 노드 간 물리적 거리를 그룹화 목표에 통합하여 통신 지연을 최소화한다.
• IID 편차와 통신 비용을 동시에 최소화하도록 반복적으로 노드를 그룹화하는 제어 알고리즘인 FedAvg-IC를 제안한다.
• 이중 수준의 집계를 도입: 먼저 로컬 모델이 그룹 모델로 집계되고, 그 후 그룹 모델이 글로벌 모델로 집계된다.
• 최적의 그룹화가 IID 이산도와 통신 지연을 동시에 최소화할 때 발생함을 보여주는 이론적 수렴 경계를 유도한다.
• TensorFlow 기반 피드버리드 학습 시뮬레이터를 사용해 다양한 데이터셋, 모델, 비-IID 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 피드버리드 학습에서 클라이언트 그룹화를 통해 비-IID 데이터 영향과 통신 오버헤드를 동시에 줄일 수 있는가?
• RQ2 통합된 IID 및 통신 인지 그룹화 조건 하에서 그룹 피드버리드 학습의 이론적 수렴 행동은 어떠한가?
• RQ3 일체의 도전 과제에 집중하는 기존 방법들보다 통합 최적화 프레임워크가 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 그룹화 전략은 최신 알고리즘 대비 테스트 정확도와 수렴 속도 향상에 어느 정도 기여하는가?

주요 결과

• FedAvg-IC는 비-IID 데이터셋에서 HierFAVG 대비 최대 22.2% 높은 테스트 정확도를 달성하여 뚜렷한 정확도 향상을 입증했다.
• FedAvg 대비 훈련 시간을 최대 8.3배 단축시켜 수렴 속도 향상이 뚜렷하다.
• 특히 높은 비-IID 조건에서 FedAvg와 HierFAVG 모두를 정확도와 효율성 면에서 능가했다.
• 통신 인지 그룹화 전략은 데이터 전송량을 크게 감소시켜 더 높은 모델 복잡도에도 불구하고 더 빠른 수렴을 이끌어냈다.
• 수렴 분석을 통해 그룹-글로벌 데이터 분포 이산도와 통신 지연을 동시에 최소화할 때 최적의 성능이 달성됨을 확인했다.
• IID 설정(Dhh)에서도 FedAvg 대비 5.6배 빠른 수렴 속도를 기록해 다양한 데이터 분포 환경에서도 뛰어난 안정성을 입증했다.