[논문 리뷰] Local Averaging Helps: Hierarchical Federated Learning and Convergence Analysis.

Jiayi Wang, Shiqiang Wang외 2명|arXiv (Cornell University)|2020. 10. 24.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 46

한 줄 요약

이 논문은 중간 허브에서 국소 평균화를 도입하여 전역 통신 빈도를 줄이고 통신 효율성을 향상시키기 위해 확률적 경사 하강법를 사용하는 계층적 분산 학습(HF-SGD)을 제안한다. 이론적 분석은 국소 평균화가 수렴 속도와 모델 정확도를 향상시키며, 특히 계산 및 통신 자원이 제한된 환경에서 유의미한 성능 향상을 이룬다고 보여주며, 실험 결과는 이러한 성능 향상이 실제로 발생했음을 확인한다.

ABSTRACT

Federated learning is an effective approach to realize collaborative learning among edge devices without exchanging raw data. In practice, these devices may connect to local hubs instead of connecting to the global server (aggregator) directly. Due to the (possibly limited) computation capability of these local hubs, it is reasonable to assume that they can perform simple averaging operations. A natural question is whether such local averaging is beneficial under different system parameters and how much gain can be obtained compared to the case without such averaging. In this paper, we study hierarchical federated learning with stochastic gradient descent (HF-SGD) and conduct a thorough theoretical analysis to analyze its convergence behavior. In particular, we first consider the two-level HF-SGD (one level of local averaging) and then extend this result to arbitrary number of levels (multiple levels of local averaging). The analysis demonstrates the impact of local averaging precisely as a function of system parameters. Due to the higher communication cost of global averaging, a strategy of decreasing the global averaging frequency and increasing the local averaging frequency is proposed. Experiments validate the proposed theoretical analysis and the advantages of HF-SGD.

연구 동기 및 목표

• 계층적 분산 학습에서 국소 평균화의 영향이 수렴 속도와 통신 효율성에 미치는 영향을 조사하는 것.
• 로컬 및 글로벌 평균화 빈도와 같은 시스템 파라미터가 모델 성능에 미치는 영향을 분석하는 것.
• 전역 평균화 빈도를 줄이고 국소 평균화 빈도를 늘림으로써 통신 비용을 줄이는 전략을 제안하는 것.
• 이중 수준에서의 이론적 수렴 분석을 임의의 수준의 계층적 분산 학습 시스템으로 확장하는 것.

제안 방법

• 논문은 엣지 장치가 먼저 국소 모델 업데이트를 수행하고, 그 후 지역 허브에서 평균화한 후 전역 집계를 수행하는 이중 수준의 HF-SGD 프레임워크를 도입한다.
• 실제 분산 학습 시스템의 계층적 통신 구조를 모델링하기 위해 다수의 수준에서의 국소 평균화로 프레임워크를 확장한다.
• 확률적 경사 하강법 하에서 이론적 수렴 분석을 수행하여, 로컬 및 글로벌 평균화 빈도와 같은 시스템 파라미터의 함수로서 수렴 속도를 유도한다.
• 분석을 통해 국소 평균화가 전역 모델 업데이트의 분산을 줄임으로써 수렴 속도를 향상시키는 바를 정량화한다.
• 비용이 많이 드는 전역 통신을 최소화하기 위해, 전역 평균화 빈도를 줄이고 국소 평균화 빈도를 늘리는 통신 효율 전략을 제안한다.
• 이론적 결과를 검증하기 위해 실험을 수행하였으며, 다양한 시스템 구성에서 더 빠른 수렴과 높은 모델 정확도를 달성함을 보였다.

실험 결과

연구 질문

• RQ1 중간 허브에서의 국소 평균화는 분산 학습의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 계층적 분산 학습에서 국소 평균화와 글로벌 평균화 빈도 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 계층 수준의 수가 모델 수렴과 통신 효율성에 어떤 영향을 미치는가?
• RQ4 국소 평균화가 분산 감소와 수렴 속도에 미치는 이론적 영향은 무엇인가?
• RQ5 제안된 HF-SGD 프레임워크는 통신 효율성과 모델 정확도 측면에서 표준 분산 학습을 능가할 수 있는가?

주요 결과

• 국소 평균화는 전역 모델 업데이트의 분산을 줄임으로써 수렴 속도를 크게 향상시킨다.
• 전역 평균화 빈도를 줄이고 국소 평균화 빈도를 늘리는 전략은 더 나은 통신 효율성을 이끈다.
• 이론적 분석은 국소 평균화가 다양한 시스템 파라미터 하에서 수렴을 향상시킨다는 것을 확인하며, 특히 대역폭이 제한되거나 지연이 높은 환경에서 유의미한 성능 향상을 보인다.
• 실험 결과는 이론적 분석을 검증하며, HF-SGD가 표준 분산 학습보다 더 빠른 수렴과 높은 모델 정확도를 달성함을 보여준다.
• HF-SGD의 수렴 속도는 국소 및 전역 평균화 빈도에 명시적으로 의존하며, 국소 평균화가 빈번하고 전역 평균화가 덜 빈번할 때 최적의 성능를 발휘한다.