[논문 리뷰] Energy-Efficient Radio Resource Allocation for Federated Edge Learning

Qunsong Zeng, Yuqing Du외 2명|arXiv (Cornell University)|2019. 07. 13.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 39

한 줄 요약

본 논문은 FEEL에 대한 에너지 효율적인 무선 자원 관리를 제안하며, 학습 속도를 보장하면서 총 에너지 소비를 최소화하기 위해 대역폭 할당과 디바이스 스케줄링을 공동 최적화합니다. 최적의 대역폭 할당은 더 약한 기기들에게 우선권을 주고, 스케줄링은 채널이 더 좋고 계산 용량이 큰 기기를 우선합니다.

ABSTRACT

Edge machine learning involves the development of learning algorithms at the network edge to leverage massive distributed data and computation resources. Among others, the framework of federated edge learning (FEEL) is particularly promising for its data-privacy preservation. FEEL coordinates global model training at a server and local model training at edge devices over wireless links. In this work, we explore the new direction of energy-efficient radio resource management (RRM) for FEEL. To reduce devices' energy consumption, we propose energy-efficient strategies for bandwidth allocation and scheduling. They adapt to devices' channel states and computation capacities so as to reduce their sum energy consumption while warranting learning performance. In contrast with the traditional rate-maximization designs, the derived optimal policies allocate more bandwidth to those scheduled devices with weaker channels or poorer computation capacities, which are the bottlenecks of synchronized model updates in FEEL. On the other hand, the scheduling priority function derived in closed form gives preferences to devices with better channels and computation capacities. Substantial energy reduction contributed by the proposed strategies is demonstrated in learning experiments.

연구 동기 및 목표

• 배터리 용량이 제한된 에지 디바이스에 대한 FEEL의 에너지 소비와 그 영향에 대한 연구를 동기 부여한다.
• 대역폭 할당과 디바이스 스케줄링의 결합을 통해 FEEL의 저에너지 무선 자원 관리 전략을 개발한다.
• 동기식 업데이트 제약하에서 대역폭 할당 및 디바이스 우선순위 부여에 대한 닫힌 형식의 최적 정책을 도출한다.
• 이질적인 디바이스를 갖는 FEEL에 대한 시뮬레이션을 통해 에너지 감소와 학습 성능 향상을 입증한다.

제안 방법

• 업로드에 OFDMA를 이용하는 하나의 에지 서버와 K개의 에지 디바이스로 FEEL 시스템을 모델링한다.
• 시간 및 대역폭 제약 하에서 에너지 최소화(업로드 에너지의 합 plus 고정 로컬 학습 에너지) 를 수식화한다(P1).
• 최적 업로드 시간이 허용된 전체 시간(t_k^* = T_k)을 사용함을 보이고 Lambert W를 이용한 닫힌 형식의 대역폭 할당을 유도한다(정리 1).
• 스케줄링 지시자(scheduling indicator)를 도입하고 완화된 볼록 문제(P3)를 완화-반올림(relaxation–rounding)으로 해결하여 에너지 및 학습 인지를 고려한 스케줄링으로 확장한다.
• 닫힌 형식의 최적 스케줄링 우선순위(정리 2)를 제공하고 대역폭 할당(P1)과 스케줄링(P4)을 수렴할 때까지 교대하는 알고리즘 1을 제안한다.

실험 결과

연구 질문

• RQ1 FEEL에서 학습 속도를 저하시키지 않으면서 에너지 소비를 최소화하기 위해 무선 자원을 어떻게 할당할 수 있는가?
• RQ2 이질적인 채널 이득과 계산 용량을 갖는 디바이스가 있을 때 최적의 대역폭 할당 정책은 무엇인가?
• RQ3 동기식 업데이트 제약 하에서 에너지 사용과 학습 성능의 균형을 맞추려면 디바이스를 어떻게 스케줄해야 하는가?
• RQ4 이진 스케줄링 변수를 완화하고 반올림 접근법을 적용하면 해와 학습 성과에 어떤 영향을 미치는가?
• RQ5 전통적인 속도 최대화나 모든 디바이스 참여와 비교했을 때 제안된 스킴의 에너지 및 학습 성능상의 이점은 무엇인가?

주요 결과

• 최적의 대역폭 할당은 시간 제약을 충족하고 에너지를 최소화하기 위해 계산 용량이 더 약하거나 채널이 더 나쁜 디바이스에 더 많은 대역폭을 할당한다.
• 최적 업로드 시간은 각 디바이스의 허용된 전송 창을 모두 사용한다(t_k^* = T_k).
• 닫힌 형식의 대역폭 표현은 Lambert W 함수와 라그랑주 승수(ν^*)를 포함한다.
• 에너지 및 학습 고려 사항을 반영한 스케줄링은 계산 용량이 높고 채널이 더 좋은 디바이스를 선택하며, 이는 닫힌 형식의 우선순위(β_k^*)로 정량화된다.
• 알고리즘 1을 통한 대역폭 할당 및 스케줄링의 결합은 시뮬레이션에서 기저대비 약 98%까지의 에너지 감소를 달성하고, 더 긴 시간 제약 하에서 더 많은 스케줄링된 디바이스로 학습 정확도를 향상시킨다.