[논문 리뷰] Towards Energy Efficient Federated Learning over 5G+ Mobile Devices

Dian Shi, Liang Li외 4명|arXiv (Cornell University)|2021. 01. 13.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 로컬 계산 및 무선 통신 에너지 소비를 공동으로 최적화하여 5G+ 모바일 디바이스를 위한 에너지 효율적인 피어드 학습 프레임워크를 제안한다. 기울기 희소화, 양자화, 동적 배치 크기 조정과 같은 기술을 통합하여 총 에너지 소비를 줄이고 모델 정확도를 유지하면서 시뮬레이션에서 뚜렷한 에너지 절감 효과를 입증한다.

ABSTRACT

The continuous convergence of machine learning algorithms, 5G and beyond (5G+) wireless communications, and artificial intelligence (AI) hardware implementation hastens the birth of federated learning (FL) over 5G+ mobile devices, which pushes AI functions to mobile devices and initiates a new era of on-device AI applications. Despite the remarkable progress made in FL, huge energy consumption is one of the most significant obstacles restricting the development of FL over battery-constrained 5G+ mobile devices. To address this issue, in this paper, we investigate how to develop energy efficient FL over 5G+ mobile devices by making a trade-off between energy consumption for "working" (i.e., local computing) and that for "talking" (i.e., wireless communications) in order to boost the overall energy efficiency. Specifically, we first examine energy consumption models for graphics processing unit (GPU) computation and wireless transmissions. Then, we overview the state of the art of integrating FL procedure with energy-efficient learning techniques (e.g., gradient sparsification, weight quantization, pruning, etc.). Finally, we present several potential future research directions for FL over 5G+ mobile devices from the perspective of energy efficiency.

연구 동기 및 목표

• 배터리 제약이 있는 5G+ 모바일 디바이스에서 피어드 학습의 높은 에너지 소비 문제를 해결한다.
• 피어드 학습 훈련 중 로컬 GPU 계산과 무선 통신 간의 에너지 사용을 균형 잡는다.
• 모델 성능을 유지하면서 총 에너지 소비를 최소화하는 시스템 수준의 전략을 개발한다.
• 피어드 학습에서 에너지 효율성과 프라이버시 보존 간의 상호작용을 조사한다.
• 이질적인 디바이스를 고려해 유연한 집계 및 적응형 압축 기법을 제안한다.

제안 방법

• GPU 기반 로컬 계산 및 5G+ 무선 업링크 전송에 대한 에너지 모델을 개발한다.
• 기울기 희소화, 양자화, 모델 정규화를 통합하여 통신 오버헤드를 줄인다.
• 동적 배치 크기 적응을 적용하여 훈련 에너지와 수렴 속도를 균형 잡는다.
• 계산 및 통신 에너지 소비를 공동으로 최적화하는 공동 설계 프레임워크를 설계한다.
• 불필요한 참여와 에너지 소비를 줄이기 위해 민첩하고 비동기식 집계 기법을 제안한다.
• 압축 기법에서 유도되는 내재적 프라이버시 이점을 활용하여 추가 노이즈 주입 없이도 보안을 강화한다.

실험 결과

연구 질문

• RQ1 로컬 계산과 무선 통신 간의 균형을 통해 5G+ 모바일 디바이스에서 피어드 학습의 에너지 소비를 어떻게 최소화할 수 있는가?
• RQ2 기울기 희소화, 양자화, 정규화가 피어드 학습의 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 동적 배치 크기 조정은 모델 수렴 성능을 떨어뜨리지 않으면서 에너지 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 민감하고 비동기식 집계 기법은 에너지 소비를 줄이는 데 어떤 역할을 하는가?
• RQ5 에너지 효율 기법은 피어드 학습에서 내재적 프라이버시 보존을 동시에 제공할 수 있는가?

주요 결과

• 5G를 통해 100MB의 ResNet-50 모델을 전송하는 데 드는 에너지 소비는 고성능 GPU에서 단일 훈련 스텝의 소비와 유사하다 (예: 30J).
• 기울기 희소화와 양자화 기법은 정확도 손실이 크지 않으면서도 통신 에너지 소비를 크게 줄인다.
• 모델 정규화와 동적 배치 크기 조정은 불필요한 계산과 데이터 전송을 최소화하여 에너지 소비를 추가로 줄인다.
• 민감하고 비동기식 집계는 라운드당 활성화되는 디바이스 수를 줄여 전체 에너지 소비를 낮춘다.
• 양자화 및 정규화와 같은 압축 기반 기법은 내재적 프라이버시 향상을 제공하여 추가 노이즈 주입이 필요 없도록 한다.
• 시뮬레이션 결과, 제안된 공동 설계 접근법이 다양한 기기 성능과 채널 조건에서 뚜렷한 에너지 절감 효과를 달성함을 확인했다.