[논문 리뷰] Hierarchical Federated Learning through LAN-WAN Orchestration

Jinliang Yuan, Mengwei Xu외 4명|arXiv (Cornell University)|2020. 10. 22.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 31

한 줄 요약

이 논문은 LAN-인식 계층적 연합 학습 프레임워크인 LanFL을 소개합니다. 이는 P2P 토폴로지를 사용한 LAN 내 집계로 학습을 가속하고 간헐적 인터-LAN 클라우드 집계를 통해 WAN 트래픽을 줄이며 정확도를 유지합니다.

ABSTRACT

Federated learning (FL) was designed to enable mobile phones to collaboratively learn a global model without uploading their private data to a cloud server. However, exiting FL protocols has a critical communication bottleneck in a federated network coupled with privacy concerns, usually powered by a wide-area network (WAN). Such a WAN-driven FL design leads to significantly high cost and much slower model convergence. In this work, we propose an efficient FL protocol, which involves a hierarchical aggregation mechanism in the local-area network (LAN) due to its abundant bandwidth and almost negligible monetary cost than WAN. Our proposed FL can accelerate the learning process and reduce the monetary cost with frequent local aggregation in the same LAN and infrequent global aggregation on a cloud across WAN. We further design a concrete FL platform, namely LanFL, that incorporates several key techniques to handle those challenges introduced by LAN: cloud-device aggregation architecture, intra-LAN peer-to-peer (p2p) topology generation, inter-LAN bandwidth capacity heterogeneity. We evaluate LanFL on 2 typical Non-IID datasets, which reveals that LanFL can significantly accelerate FL training (1.5x-6.0x), save WAN traffic (18.3x-75.6x), and reduce monetary cost (3.8x-27.2x) while preserving the model accuracy.

연구 동기 및 목표

• WAN 대역폭이 풍부한 환경을 활용해 연합 학습에서 WAN 병목 및 비용을 줄이려는 동기를 부여한다.
• 수렴 속도 향상과 WAN 트래픽 감소를 위한 계층적 LAN-WAN FL 설계를 제안한다.
• LAN 도메인 집계, P2P LAN 내 토폴로지, 동적 기기 선택을 통해 LAN 이질성을 처리하는 LanFL을 개발한다.
• 비 IID 데이터셋에서 LanFL을 평가해 속도 향상, WAN 트래픽 감소, 비용 절감을 수치로 제시한다.

제안 방법

• LAN-인식 FL을 제안하여 LAN 도메인을 가로지르는 계층적 집계와 중앙 클라우드 오케스트레이션을 도입한다.
• LAN 내부 통신을 위한 두 가지 집계 토폴로지(파라미터 서버(PS)와 링-올드레드(Ring-AllReduce))를 설계하고, AP 토폴로지와 처리량에 따라 LAN별로 선택한다.
• LAN에서 속도와 정확도 균형을 맞추기 위한 디바이스-라운드(RL) 및 로컬 에폭(E) 튜닝 전략을 도입한다.
• LAN-도메인 집계가 자주 발생하는 이중 계층의 FedAvg 유사 워크플로우를 구현하고, 클라우드 수준의 집계는 비교적 드물게 수행한다.
• 이질적인 LAN 도메인 간의 처리량 균형을 맞추기 위해 참여 디바이스를 LAN별로 동적으로 선택한다.
• LAN에서의 통신 시간을 PS 또는 Ring 처리량 방정식을 통해 com_T_L로 모델화하고, WAN 통신 시간은 모델 크기와 대역폭(BW)을 이용해 계산하며, 기존 FL 공식들을 따른다.
• LEAF 기반의 비 IID 분할을 사용해 FEMNIST와 CelebA 데이터셋에서 LanFL을 WAN 중심 FL 기준과 비교 평가한다.

실험 결과

연구 질문

• RQ1 LAN-인지 계층적 집계가 WAN 전용 FL에 비해 연합 학습의 수렴을 가속할 수 있는가?
• RQ2 LAN 내부 토폴로지(PS 대 Ring)가 LAN 처리량과 전체 학습 시간에 미치는 영향은 무엇인가?
• RQ3 LAN 간 이질성은 수렴에 어떤 영향을 미치며, 동적 디바이스 선택으로 느린 학습자(stragglers)를 완화할 수 있는가?
• RQ4 LanFL과 전통적인 FL의 WAN 트래픽 및 금전적 비용에 미치는 영향은 무엇인가?
• RQ5 LAN 간의 비 IID 데이터 분포에서도 LanFL이 모델 정확도를 유지하는가?

주요 결과

• LanFL은 정확도를 유지하면서 모델 수렴 속도를 크게 향상시키고(WAN 트래픽을 18.3×–75.6× 감소시키며), 금전적 비용도 3.8×–27.2× 절감한다.
• LAN-FL 기준선과 비교했을 때 FEMNIST 및 CelebA에서 LanFL이 더 빠른 수렴과 낮은 WAN 사용을 달성한다.
• LAN 내부 토폴로지(PS 대 Ring) 및 AP 용량 프로파일링으로 처리량이 높아지고 LAN 대역폭의 활용도가 개선된다.
• 이질성으로 인한 느린 학습자 현상을 동적 LAN 도메인 디바이스 선택으로 완화하고 LAN 간 동기된 진행 상황을 유지한다.
• 이 프레임워크는 LAN 낭독에서의 자주적 로컬 집계와 WAN 간의 간헐적 글로벌 집계에 의존하여 수렴에 필요한 라운드를 줄인다.