[논문 리뷰] To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices

Liang Li, Dian Shi외 4명|arXiv (Cornell University)|2020. 12. 22.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 12

한 줄 요약

이 논문은 이질적인 모바일 에지 디바이스에서 에너지 효율적인 플래거레이티드 러닝을 위한 유연한 통신 압축 기법을 제안한다. 디바이스별 계산 및 통신 조건를 고려해 기울기 희소성과 시간적 희소성을 공동 최적화함으로써, '작업'(현지 계산)과 '대화'(기울기 전송) 에너지 비용을 균형 있게 조절하여 모델 정확도를 훼손하지 않은 채 최대 100배의 에너지 절감을 달성한다.

ABSTRACT

Recent advances in machine learning, wireless communication, and mobile hardware technologies promisingly enable federated learning (FL) over massive mobile edge devices, which opens new horizons for numerous intelligent mobile applications. Despite the potential benefits, FL imposes huge communication and computation burdens on participating devices due to periodical global synchronization and continuous local training, raising great challenges to battery constrained mobile devices. In this work, we target at improving the energy efficiency of FL over mobile edge networks to accommodate heterogeneous participating devices without sacrificing the learning performance. To this end, we develop a convergence-guaranteed FL algorithm enabling flexible communication compression. Guided by the derived convergence bound, we design a compression control scheme to balance the energy consumption of local computing (i.e., "working") and wireless communication (i.e., "talking") from the long-term learning perspective. In particular, the compression parameters are elaborately chosen for FL participants adapting to their computing and communication environments. Extensive simulations are conducted using various datasets to validate our theoretical analysis, and the results also demonstrate the efficacy of the proposed scheme in energy saving.

연구 동기 및 목표

• 자주 통신과 현지 학습으로 인해 배터리 제약이 있는 모바일 에지 디바이스에서 플래거레이티드 러닝의 높은 에너지 소비 문제를 해결한다.
• 이종 디바이스를 가정하는 기존의 통신 압축 기법들이 균일한 압축을 전제로 한다는 한계를 극복한다.
• 수렴 보장이 되는 플래거레이티드 러닝 알고리즘을 개발하여 디바이스에 적합한 통신 압축을 유연하게 지원한다.
• 장기적 학습 관점에서 현지 계산('작업')과 무선 전송('대화') 에너지 소비 간의 균형을 맞춘다.
• 디바이스별 계산 및 채널 조건에 기반해 기울기 희소성과 시간적 희소성을 동적으로 조정하는 압축 제어 기법을 설계한다.

제안 방법

• 각 디바이스에 대해 기울기 희소성과 시간적 희소성을 공동 최적화하는 융통성 있는 통신 압축 프레임워크를 제안한다.
• 압축에 의한 기울기 왜곡과 통신 지연을 모두 고려한 이론적 수렴 경계를 유도한다.
• 현지 계산과 통신 에너지 비용을 균형 잡는 방식으로 총 에너지 소비를 최소화하는 압축 제어 기법을 설계한다.
• 디바이스별 에너지 비용 모델을 사용하여, 압축 파라미터(기울기 희소성과 시간적 희소성)를 계산 및 채널 조건에 따라 적응적으로 선택한다.
• 변동하는 통신 품질과 계산 능력에 대응해 압축 수준을 동적으로 조정하는 최적화 전략을 구현한다.
• 수렴을 보장하면서 에너지 소비를 최소화하는 로컬 SGD 기반 플래거레이티드 러닝 알고리즘에 압축 제어를 통합한다.

실험 결과

연구 질문

• RQ1 계산 및 통신 능력이 서로 다른 이종 모바일 에지 디바이스에 대해 통신 압축을 어떻게 융통성 있게 적응시킬 수 있는가?
• RQ2 플래거레이티드 러닝 중 총 에너지 소비를 최소화할 때 기울기 희소성과 시간적 희소성 사이의 상호 교환 관계는 어떠한가?
• RQ3 모델 정확도를 유지하면서 디바이스별 압축을 지원하는 수렴 보장이 되는 플래거레이티드 러닝 알고리즘을 설계할 수 있는가?
• RQ4 '작업'(계산)과 '대화'(통신) 에너지 비용 간의 균형이 전체 학습 효율성에 어떤 영향을 미치는가?
• RQ5 모델 수렴 성능을 떨어뜨리지 않고 적응형 압축 제어를 통해 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 융통성 있는 압축 기법은 다양한 데이터셋과 모델에서 기준 분산 SGD 대비 에너지 소비를 1.5배에서 100배까지 줄였다.
• 이 기법은 통합 압축 방법과 유사한 수렴 성능을 유지하며, 최종 정확도는 비압축 기준 기준에 비해 약간 낮을 뿐이다.
• 시간적 희소성은 기울기 희소성보다 수렴 속도에 더 큰 영향을 미치며, 이는 기울기 크기를 줄이는 것보다 통신 주파수를 줄이는 것이 더 효과적임을 시사한다.
• 저복잡도 환경에서는 높은 시간적 희소성을 통해 통신 라운드 수를 줄이는 데 우선순위를 두고, 고지연 환경에서는 기울기 희소성을 증가시켜 라운드당 전송 비용을 줄인다.
• 제어 기법은 기울기 희소성과 시간적 희소성 간의 상호 교환 관계를 효과적으로 관리하여 디바이스 이질성에 유연하게 적응할 수 있다.
• 시뮬레이션 결과 이론적 수렴 경계가 융통성 있는 압축 하에서 모델 행동을 정확하게 예측함을 확인하여 분석 프레임워크의 타당성을 검증했다.