[논문 리뷰] To Talk or to Work: Energy Efficient Federated Learning over Mobile Devices via the Weight Quantization and 5G Transmission Co-Design.

Rui Chen, Liang Li외 4명|arXiv (Cornell University)|2020. 12. 21.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 4

한 줄 요약

이 논문은 이질적인 모바일 디바이스에서 에너지 효율적인 플러드러드 러닝(FL)을 가능하게 하기 위해 5G 무선 전송과 가중치 양자화를 공동 설계한다. 다중접근 에지 컴퓨팅(MEC)을 통합하고 혼합정수프로그래밍 문제를 수립함으로써, 모델 정확도와 지연 시간을 유지하면서 총 에너지 소비(계산 + 전송)를 최소화하기 위해 양자화 수준과 대역폭 할당을 공동 최적화한다.

ABSTRACT

Federated learning (FL) is a new paradigm for large-scale learning tasks across mobile devices. However, practical FL deployment over resource constrained mobile devices confronts multiple challenges. For example, it is not clear how to establish an effective wireless network architecture to support FL over mobile devices. Besides, as modern machine learning models are more and more complex, the local on-device training/intermediate model update in FL is becoming too power hungry/radio resource intensive for mobile devices to afford. To address those challenges, in this paper, we try to bridge another recent surging technology, 5G, with FL, and develop a wireless transmission and weight quantization co-design for energy efficient FL over heterogeneous 5G mobile devices. Briefly, the 5G featured high data rate helps to relieve the severe communication concern, and the multi-access edge computing (MEC) in 5G provides a perfect network architecture to support FL. Under MEC architecture, we develop flexible weight quantization schemes to facilitate the on-device local training over heterogeneous 5G mobile devices. Observed the fact that the energy consumption of local computing is comparable to that of the model updates via 5G transmissions, we formulate the energy efficient FL problem into a mixed-integer programming problem to elaborately determine the quantization strategies and allocate the wireless bandwidth for heterogeneous 5G mobile devices. The goal is to minimize the overall FL energy consumption (computing + 5G transmissions) over 5G mobile devices while guaranteeing learning performance and training latency. Generalized Benders' Decomposition is applied to develop feasible solutions and extensive simulations are conducted to verify the effectiveness of the proposed scheme.

연구 동기 및 목표

• 자원 제약이 있는 모바일 디바이스에서 복잡한 모델 훈련과 통신 오버헤드로 인한 높은 에너지 소비 문제를 해결하기 위해.
• 기존의 무선 네트워크 아키텍처가 모바일 네트워크를 통해 확장 가능하고 효율적인 FL을 지원하는 데에 한계가 있음을 극복하기 위해.
• 5G의 고속 데이터 전송 및 MEC 기능을 통합하고 적응형 가중치 양자화를 적용하여 FL에서의 에너지 소비를 줄이는 공동 설계 프레임워크를 설계하기 위해.
• 학습 성능과 훈련 지연 시간 제약을 충족시키면서도 이종적인 5G 모바일 디바이스 전체에서 로컬 계산 + 5G 전송의 총 에너지 소비를 최소화하기 위해.
• 실세계 5G 모바일 환경에서 에너지 효율적인 FL을 구현하기 위한 확장 가능하고 실용적인 솔루션을 제공하기 위해.

제안 방법

• 5G의 고속 데이터 전송 및 다중접근 에지 컴퓨팅(MEC)을 활용하여 모바일 디바이스를 대상으로 한 FL에 대한 확장 가능한 네트워크 아키텍처를 제공한다.
• 이종적인 5G 모바일 디바이스의 계산 및 통신 능력에 맞춰 유연한 가중치 양자화 기법을 도입한다.
• 에너지 효율성 문제를 혼합정수프로그래밍(MIP) 수식으로 모델링하여 양자화 수준과 무선 대역폭 할당을 공동 최적화한다.
• 복잡한 MIP 문제를 효율적으로 분해하고 해결하기 위해 일반화 베너스 분해(Geeralized Benders' Decomposition)를 적용하여 실현 가능하고 확장 가능한 해를 도출한다.
• 실제 구현 가능성 확보를 위해 모델 정확도와 훈련 지연 시간 제약을 통합한다.
• MEC 아키텍처를 활용해 집계를 외부로 이관함으로써 디바이스 측의 계산 부담을 줄이고 에너지 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 5G 무선 네트워크와 FL을 어떻게 공동 설계하여 모바일 플러드러드 러닝에서의 에너지 소비를 줄일 수 있는가?
• RQ2 총 에너지 소비를 최소화하기 위해 가중치 양자화 정밀도와 무선 대역폭 할당 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 다양한 능력을 지닌 이종적인 모바일 디바이스는 에너지 효율적인 FL 프레임워크에서 어떻게 효율적으로 지원될 수 있는가?
• RQ4 양자화와 전송을 공동 최적화할 경우 모델 수렴성과 훈련 지연 시간에 어떤 영향을 미치는가?
• RQ5 제안된 공동 설계 접근법은 에너지 소비를 크게 줄이면서도 수용 가능한 학습 성능을 유지할 수 있는가?

주요 결과

• 제안된 공동 설계 프레임워크는 양자화와 대역폭 할당을 공동 최적화함으로써 총 에너지 소비를 크게 감소시킨다.
• 로컬 계산에서의 에너지 소비가 5G 전송에서의 소비와 유사한 수준임을 확인하여 공동 최적화의 타당성을 입증한다.
• 일반화 베너스 분해를 활용함으로써 혼합정수프로그래밍 문제를 효율적으로 해결할 수 있었으며, 확장성 보장이 가능했다.
• 광범위한 시뮬레이션을 통해 제안된 방식이 이종적인 디바이스 전반에서 높은 모델 정확도를 유지하면서도 에너지 소비를 최소화하는 것으로 확인되었다.
• 이 프레임워크는 훈련 지연 시간과 에너지 효율성을 효과적으로 균형 잡아 실세계 5G 모바일 환경에 적합한 솔루션을 제공한다.
• MEC와 적응형 양자화의 통합은 기존 방법에 비해 더 확장 가능하고 에너지 효율적인 FL 아키텍처를 만들어냈다.