[논문 리뷰] Edge-Assisted Hierarchical Federated Learning with Non-IID Data

Lumin Liu, Jun Zhang외 2명|arXiv (Cornell University)|2019. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 52

한 줄 요약

이 논문은 비독립 동일 분포(non-IID) 데이터 하에서 통신 오버헤드를 줄이고 모델 성능을 향상시키기 위해 모바일 엣지 컴퓨팅을 활용한 계층적 분산 학습 프레임워크를 제안한다. 엣지 서버에서 전역 평균화 이전에 국지적 모델 평균화를 가능하게 함으로써, 계층적 분산 평균화(HierFAVG) 알고리즘이 볼록 및 비볼록 목표 함수 모두에 대해 수렴하며, 표준 FedAvg에 비해 통신 라운드 수를 크게 줄이고 높은 모델 정확도를 유지한다.

ABSTRACT

Federated Learning (FL) is capable of leveraging massively distributed private data, e.g., on mobile phones and IoT devices, to collaboratively train a shared machine learning model with the help of a cloud server. However, its iterative training process results in intolerable communication latency, and causes huge burdens on the backbone network. Thus, reducing the communication overhead is critical to implement FL in practice. Meanwhile, the model performance degradation due to the unique non-IID data distribution at different devices is another big issue for FL. In this paper, by introducing the mobile edge computing platform as an intermediary structure, we propose a hierarchical FL architecture to reduce the communication rounds between users and the cloud. In particular, a Hierarchical Federated Averaging (HierFAVG) algorithm is proposed, which allows multiple local aggregations at each edge server before one global aggregation at the cloud. We establish the convergence of HierFAVG for both convex and non-convex objective functions with non-IID user data. It is demonstrated that HierFAVG can reach a desired model performance with less communication, and outperform the traditional Federated Averaging algorithm.

연구 동기 및 목표

• 분산 학습에서 클라이언트와 클라우드 간 통신 지연과 백본 네트워크 부하를 줄이기 위해 엣지 서버를 지원하는 계층적 아키텍처를 도입하기 위해.
• 분산 학습 시스템에서 기기 간 비독립 동일 분포 데이터 분포로 인한 모델 성능 저하 문제를 해결하기 위해.
• 클라우드에서 전역 평균화 이전에 엣지 서버에서 다수의 국지적 평균화를 지원하는 통신 효율적인 학습 알고리즘을 설계하기 위해.
• 비독립 동일 분포 데이터 조건 하에서 볼록 및 비볼록 최적화 설정 모두에서 제안된 알고리즘의 수렴성을 이론적으로 확립하기 위해.

제안 방법

• 엔드 디바이스와 중앙 클라우드 서버 사이에서 중개자 역할을 하는 엣지 서버를 포함한 계층적 FL 아키텍처를 도입한다.
• 각 엣지 서버에서 클라우드에 모델을 전송하기 이전에 다수의 국지적 모델 평균화를 허용하는 계층적 분산 평균화(HierFAVG) 알고리즘을 제안한다.
• 이중 수준의 평균화 프로세스를 사용한다: 각 클러스터 내 기기에서 엣지 서버에서의 국지 평균화, 그 다음 클라우드에서의 전역 평균화.
• 이론적 분석을 통해 비독립 동일 분포 데이터 조건 하에서 볼록 및 비볼록 목표 함수 모두에 대해 HierFAVG의 수렴성을 입증한다.
• 클라우드에서의 계산 및 통신 부담을 완화하기 위해 모바일 엣지 컴퓨팅을 활용하여 종단 간 지연을 감소시킨다.
• 표준 FedAvg 스타일의 모델 평균화를 사용하지만, 전역 통신 횟수를 최소화하기 위해 계층적 레이어를 통해 이를 확장한다.

실험 결과

연구 질문

• RQ1 엔드 서버를 포함한 계층적 FL 아키텍처가 분산 학습에서 클라이언트와 클라우드 간 통신 라운드 수를 줄일 수 있는가?
• RQ2 제안된 HierFAVG 알고리즘이 비독립 동일 분포 데이터 분포 하에서 수렴성과 모델 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 비독립 동일 분포 데이터 조건 하에서 볼록 및 비볼록 최적화 문제에 대해 HierFAVG의 이론적 수렴 행동은 어떠한가?
• RQ4 동일한 학습 조건 하에서 HierFAVG의 통신 효율성과 모델 품질은 표준 FedAvg에 비해 어떻게 비교되는가?

주요 결과

• HierFAVG는 비독립 동일 분포 데이터 분포 조건 하에서도 볼록 및 비볼록 목표 함수 모두에 대해 수렴한다.
• 제안된 알고리즘은 표준 FedAvg에 비해 원하는 모델 성능에 도달하기 위해 필요한 통신 라운드 수를 줄인다.
• 비독립 동일 분포 데이터로 인한 모델 성능 저하가 엣지 서버에서의 국지적 평균화를 통해 완화된다.
• 동일한 학습 조건 하에서 HierFAVG는 통신 효율성과 최종 모델 정확도 측면에서 기존 FedAvg를 능가한다.