[논문 리뷰] Client-Edge-Cloud Hierarchical Federated Learning

Lumin Liu, Jun Zhang외 2명|arXiv (Cornell University)|2019. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 26

한 줄 요약

이 논문은 엣지 서버에서 부분 모델 집합을 허용하는 새로운 HierFAVG 알고리즘을 포함한 클라이언트-엣지-클라우드 계층적 피어드 학습(FL) 프레임워크를 제안한다. 이는 통신 오버헤드와 에너지 소비를 줄이는 데 기여한다. 로컬 업데이트와 계층 간 집합 간 전략적 균형을 통해, 클라우드 전용 FL에 비해 더 빠른 학습과 향상된 통신-계산 트레이드오프를 달성한다. 실험 결과, 학습 시간이 최대 75% 감소하고 최종 장치에서의 에너지 절감 효과가 뚜렷하다.

ABSTRACT

Federated Learning is a collaborative machine learning framework to train a deep learning model without accessing clients' private data. Previous works assume one central parameter server either at the cloud or at the edge. The cloud server can access more data but with excessive communication overhead and long latency, while the edge server enjoys more efficient communications with the clients. To combine their advantages, we propose a client-edge-cloud hierarchical Federated Learning system, supported with a HierFAVG algorithm that allows multiple edge servers to perform partial model aggregation. In this way, the model can be trained faster and better communication-computation trade-offs can be achieved. Convergence analysis is provided for HierFAVG and the effects of key parameters are also investigated, which lead to qualitative design guidelines. Empirical experiments verify the analysis and demonstrate the benefits of this hierarchical architecture in different data distribution scenarios. Particularly, it is shown that by introducing the intermediate edge servers, the model training time and the energy consumption of the end devices can be simultaneously reduced compared to cloud-based Federated Learning.

연구 동기 및 목표

• 클라우드 기반 및 엣지 기반 FL의 한계를 해결하기 위해 클라우드의 막대한 데이터 접근성과 엣지에서의 저지연 통신을 융합하는 것.
• 비용이 많이 드는 클라우드 통신을 줄이면서도 높은 모델 정확도를 유지하는 계층적 FL 아키텍처를 설계하는 것.
• 클라이언트, 엣지 서버, 클라우드 간 다중 수준 모델 집합을 지원하는 새로운 학습 알고리즘 HierFAVG를 개발하는 것.
• HierFAVG에 대한 이론적 수렴 보장을 확립하고 핵심 시스템 파라미터의 설계 지침을 도출하는 것.
• 실세계 데이터 분포 환경에서 통신, 계산, 에너지 소비 간 상호 트레이드오프를 실험적으로 검증하는 것.

제안 방법

• 클라이언트를 엣지에, 엣지 서버를 중간 집합기로, 중심 클라우드 서버를 글로벌 모델 집합용으로 사용하는 3단계 FL 아키텍처를 제안한다.
• HierFAVG 알고리즘을 도입하여 엣지 서버에서 부분 모델 평균화를 수행하고 클라우드로 전달함으로써 클라우드 통신 부담을 줄인다.
• 시스템을 두 가지 핵심 파라미터로 모델링한다: 클라이언트에서 엣지 집합 전 로컬 업데이트 빈도인 κ₁과 엣지에서 클라우드로의 통신 빈도인 κ₂.
• 비독립 동일분포(Non-i.i.d.) 데이터 하에서 HierFAVG의 수렴 분석을 도출하여, 데이터 분포와 학습률에 대한 온건한 가정 하에 알고리즘이 수렴함을 보였다.
• 정성적 설계 지침을 수립: κ₁κ₂가 고정된 상태에서 κ₁을 줄이면 수렴 속도가 빨라지며, 비독립 엣지 데이터일 경우 κ₂를 증가시키면 학습 속도가 느려진다.
• MNIST 및 CIFAR-10 데이터셋을 사용하여 IID 및 비독립 동일분포(Non-IID) 데이터 분포 조건에서 학습 시간, 에너지 소비, 모델 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 제안된 계층적 FL 아키텍처와 엣지 집합이 비독립 동일분포(Non-i.i.d.) 데이터 하에서 수렴하는가? 그리고 수렴을 위한 이론적 조건은 무엇인가?
• RQ2 κ₁(클라이언트에서 엣지로의 업데이트 빈도)과 κ₂(엣지에서 클라우드로의 통신 빈도) 파라미터가 수렴 속도와 모델 정확도에 미치는 영향은 무엇인가?
• RQ3 계층적 FL 시스템은 클라우드 전용 FL에 비해 학습 시간과 최종 장치의 에너지 소비를 동시에 줄일 수 있는가?
• RQ4 데이터 분포(IID 대비 비독립 동일분포)가 HierFAVG의 성능에 미치는 영향은 무엇인가? 특히 통신 빈도 트레이드오프 측면에서 어떻게 나타나는가?
• RQ5 통신 효율성, 계산 비용, 에너지 소비를 균형 잡는 데 최적의 κ₁ 및 κ₂ 설정은 무엇인가?

주요 결과

• MNIST 및 CIFAR-10 데이터셋 모두에서 최적의 κ₁ 및 κ₂ 값을 사용할 경우, 계층적 FL은 클라우드 전용 FL 대비 학습 시간을 최대 75% 감소시켰다.
• MNIST 데이터셋에서는 계층적 FL을 사용할 경우 최대 65%의 장치 에너지 소비 감소를 기록했고, CIFAR-10에서는 60% 감소를 기록했다. 이는 중간 수준의 엣지 통신(κ₂=4 또는 10)을 사용한 경우에 해당한다.
• κ₁를 줄이면(더 자주 엣지 집합 수행) 학습 시간이 크게 감소하며, 특히 κ₁κ₂가 고정된 조건에서 이는 수렴 분석에서 도출된 첫 번째 설계 지침을 확인한다.
• 엣지 데이터가 IID일 경우, κ₂를 증가시켜도 수렴 속도가 느려지지 않아, 성능 손실 없이 클라우드 통신 빈도를 줄일 수 있음을 시사한다.
• 엣지-NIID 데이터일 경우, κ₂를 증가시키면 수렴 속도가 느려지며, 이는 두 번째 설계 지침을 검증하고 데이터 이질성에 따라 적응형 파라미터 조정이 필요함을 강조한다.
• 중간 수준의 κ₂ 값에서 계산 에너지와 통신 에너지의 최적 균형이 달성되며, 너무 빈번한 엣지 통신은 로컬 계산을 줄이지만 에너지 소비를 증가시킨다.