[논문 리뷰] Wirelessly Powered Federated Edge Learning: Optimal Tradeoffs Between Convergence and Power Transfer

Qunsong Zeng, Yuqing Du외 1명|arXiv (Cornell University)|2021. 02. 24.

Energy Harvesting in Wireless Networks참고 문헌 39인용 수 5

한 줄 요약

이 논문은 장치의 계산, 통신, 수확한 에너지를 공동으로 관리하여 모델 수렴성과 무선 에너지 전송 간의 트레이드오프를 최적화하는 무선으로 구동되는 페더레이티드 엣지 학습(WP-FEEL) 시스템을 제안한다. 수렴 속도가 전달된 에너지와 계산 효율성에 비례함을 보여주는 스케일링 법칙을 유도하여 엣지 AI 시스템에서 WPT 구현을 위한 설계 지침을 제공한다.

ABSTRACT

Federated edge learning (FEEL) is a widely adopted framework for training an artificial intelligence (AI) model distributively at edge devices to leverage their data while preserving their data privacy. The execution of a power-hungry learning task at energy-constrained devices is a key challenge confronting the implementation of FEEL. To tackle the challenge, we propose the solution of powering devices using wireless power transfer (WPT). To derive guidelines on deploying the resultant wirelessly powered FEEL (WP-FEEL) system, this work aims at the derivation of the tradeoff between the model convergence and the settings of power sources in two scenarios: 1) the transmission power and density of power-beacons (dedicated charging stations) if they are deployed, or otherwise 2) the transmission power of a server (access-point). The development of the proposed analytical framework relates the accuracy of distributed stochastic gradient estimation to the WPT settings, the randomness in both communication and WPT links, and devices' computation capacities. Furthermore, the local-computation at devices (i.e., mini-batch size and processor clock frequency) is optimized to efficiently use the harvested energy for gradient estimation. The resultant learning-WPT tradeoffs reveal the simple scaling laws of the model-convergence rate with respect to the transferred energy as well as the devices' computational energy efficiencies. The results provide useful guidelines on WPT provisioning to provide a guaranteer on learning performance. They are corroborated by experimental results using a real dataset.

연구 동기 및 목표

• 대규모 AI 모델 학습이 제한된 배터리 자원을 고갈시키는 에너지 제약이 있는 엣지 디바이스의 과제를 해결한다.
• 이전 연구의 한계를 극복하기 위해 에너지 효율성이나 통신에만 초점을 맞추는 대신, 모델 수렴성과 무선 전력 전송(WPT) 설정 간의 트레이드오프를 정량화한다.
• 희망하는 학습 성능에 따라 전용 파워비콘 또는 서버를 WPT 인프라로 구현하기 위한 분석적 지침을 제공한다.
• 신뢰할 수 없는 통신 링크와 WPT 링크 간의 상호의존성과 디바이스에서 수확한 에너지를 계산 및 통신에 공동으로 활용하는 것을 고려한다.
• 에너지 제약 하에서 학습 성능을 최대화하기 위해 국소 계산 파라미터(미니배치 크기 및 프로세서 주파수)를 최적화한다.

제안 방법

• 무선 에너지 전송을 고려한 페더레이티드 엣지 학습을 위한 스토하스틱 그래디언트 디센트(SGD) 프레임워크를 개발하며, 통신 및 WPT 링크의 fading을 모델링한다.
• 채널 조건, 디바이스 위치, 에너지 수확 신뢰성 등을 고려하여 각 디바이스에서의 기대 국소 그래디언트 편차를 유도한다.
• 업링크 채널에서 레이일라이트 페이딩으로 인한 활성 디바이스 수에 대해 감마 분포 모델을 사용하고, 디바이스 참여의 아웃지어 확률을 유도한다.
• 적분 변환과 특수 함수(비완전 감마 함수 및 수정 베셀 함수)를 사용하여 활성 디바이스 조건 하에서의 기대 그래디언트 편차를 수식화한다.
• 수확한 에너지를 계산과 통신에 공동으로 할당하여 수렴 속도를 최대화하는 새로운 에너지 인식 최적화 프레임워크를 도입한다.
• 그래디언트 편차의 渐近 분석에서 유도된 스케일링 법칙을 통해 전달된 에너지와 디바이스 계산 에너지 효율성에 따른 수렴 속도의 함수로 스케일링 법칙을 수립한다.

실험 결과

연구 질문

• RQ1 무선 전력 전송을 통해 전달된 에너지의 양이 증가함에 따라 페더레이티드 엣지 학습의 수렴 속도는 어떻게 변화하는가?
• RQ2 전송 전력 및 파워비콘 또는 액세스 포인트 전력의 밀도와 같은 WPT 파라미터와의 최적 트레이드오프는 무엇인가?
• RQ3 통신 및 WPT 링크의 신뢰성은 활성 디바이스 수와 학습 성능에 어떻게 공동으로 영향을 미치는가?
• RQ4 학습 수렴을 최대화하기 위해 수확한 에너지를 계산과 통신에 어떻게 할당하는 것이 최적인가?
• RQ5 디바이스 고유의 계산 에너지 효율성과 하드웨어 파라미터(예: 프로세서 클럭 주파수, 미니배치 크기)는 학습-WPT 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• WP-FEEL의 수렴 속도는 전달된 에너지의 세제곱근에 비례하며, 에너지가 증가함에 따라 수익 감소 효과가 나타남을 시사한다.
• 모델 수렴 속도는 디바이스의 계산 에너지 효율성에 비례하므로, 동일한 에너지 입력에 대해 더 효율적인 프로세서를 사용할수록 수렴 속도가 빨라진다.
• 디바이스 참여의 아웃지어 확률은 WPT 및 통신 채널 파라미터의 함수로 경계되며, 특수 함수를 사용하여 닫힌 형태의 수식이 유도되었다.
• 활성 디바이스에서의 기대 그래디언트 편차는 수정 베셀 함수와 비완전 감마 함수를 포함하는 함수로 상한선이 존재하며, 이는 분석적 취급 가능성을 보장한다.
• 유도된 스케일링 법칙은 WPT 전력 증가 또는 디바이스 에너지 효율성 향상이 수렴 속도에 단조로운 향상 효과를 미친다는 것을 드러낸다.
• 실제 데이터셋을 활용한 실험 검증을 통해 분석 예측의 정확성이 확인되었으며, 실세계 구현 환경에서 제안된 모델의 정확성이 입증되었다.