[논문 리뷰] Energy-Efficient Resource Management for Federated Edge Learning with CPU-GPU Heterogeneous Computing

Qunsong Zeng, Yuqing Du외 2명|arXiv (Cornell University)|2020. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 5

한 줄 요약

이 논문은 CPU-GPU 이종 컴퓨팅 환경을 갖춘 무선 네트워크에서 에너지 효율적인 피어드 엣지 학습을 위한 공동 계산-통신 자원 관리(C²RM) 프레임워크를 제안한다. 대역폭, 워크로드 파artitioning, 속도 스케일링 간의 에너지-레이트 균형을 활용하여, 기준 방법 대비 최대 40%의 에너지 절감과 더 빠른 수렴을 가능하게 한다. 실제 데이터셋을 사용하여 검증하였다.

ABSTRACT

Edge machine learning involves the deployment of learning algorithms at the network edge to leverage massive distributed data and computation resources to train artificial intelligence (AI) models. Among others, the framework of federated edge learning (FEEL) is popular for its data-privacy preservation. FEEL coordinates global model training at an edge server and local model training at edge devices that are connected by wireless links. This work contributes to the energy-efficient implementation of FEEL in wireless networks by designing joint computation-and-communication resource management ($ ext{C}^2$RM). The design targets the state-of-the-art heterogeneous mobile architecture where parallel computing using both a CPU and a GPU, called heterogeneous computing, can significantly improve both the performance and energy efficiency. To minimize the sum energy consumption of devices, we propose a novel $ ext{C}^2$RM framework featuring multi-dimensional control including bandwidth allocation, CPU-GPU workload partitioning and speed scaling at each device, and $ ext{C}^2$ time division for each link. The key component of the framework is a set of equilibriums in energy rates with respect to different control variables that are proved to exist among devices or between processing units at each device. The results are applied to designing efficient algorithms for computing the optimal $ ext{C}^2$RM policies faster than the standard optimization tools. Based on the equilibriums, we further design energy-efficient schemes for device scheduling and greedy spectrum sharing that scavenges "spectrum holes" resulting from heterogeneous $ ext{C}^2$ time divisions among devices. Using a real dataset, experiments are conducted to demonstrate the effectiveness of $ ext{C}^2$RM on improving the energy efficiency of a FEEL system.

연구 동기 및 목표

• 기기들이 에너지원 제약을 갖는 피어드 엣지 학습(FEEL) 환경에서 에너지 효율성 문제를 해결하기 위해.
• 이종 컴퓨팅 환경에서 기기 간 대역폭 할당, CPU-GPU 워크로드 파artitioning, 속도 스케일링을 공동으로 최적화하는 C²RM 프레임워크를 설계하기 위해.
• 기기 간 이종 C² 시간 분할을 활용하여 에너지 효율적인 기기 스케줄링 및 스펙트럼 공유를 가능하게 하기 위해.
• 에너지-레이트 균형 원리를 활용하여 표준 최적화 도구보다 뛰어난 성능을 보이는 저복잡도 알고리즘을 개발하기 위해.

제안 방법

• 각 기기에서 대역폭 할당, CPU-GPU 워크로드 파artitioning, 속도 스케일링을 공동으로 제어하는 다차원 C²RM 프레임워크를 도입한다.
• 계산 및 통신 자원 간의 에너지-레이트 균형 조건을 수립하여, 기기 및 처리 단위 간 안정적인 에너지-레이트 트레이드오프 존재를 증명한다.
• 최적의 C²RM 정책을 표준 볼록 최적화 솔버보다 더 빠르게 계산할 수 있도록 균형 기반 최적성 조건의 집합을 유도한다.
• 기기 간 이종 C² 시간 분할에 의해 생성된 '스펙트럼 홀'을 활용하는 게으른 스펙트럼 공유 기법을 설계한다.
• CPU 및 GPU 단위에서 속도 스케일링을 통한 계산 에너지 소비를 제어하기 위해 동적 전압 및 주파수 스케일링(DVFS)을 적용한다.
• 시스템 수준의 에너지 모델을 통신 및 계산에 통합하여 실제 데이터셋을 사용해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 이종 CPU-GPU 기기들을 갖춘 피어드 엣지 학습 환경에서 총 에너지 소비를 최소화하기 위해 공동 계산-통신 자원 관리를 어떻게 설계할 수 있는가?
• RQ2 효율적인 최적화를 위해 활용할 수 있는 계산 및 통신 에너지 레이트 간의 균형 조건은 무엇인가?
• RQ3 CPU와 GPU 간의 워크로드 파artitioning는 FEEL 시스템에서 에너지-지연 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 이종 C² 시간 분할을 활용하여 에너지 효율적인 기기 스케줄링 및 스펙트럼 공유를 달성할 수 있는가?
• RQ5 기존의 C²RM 접근 방식 대비 제안된 프레임워크는 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 C²RM 프레임워크는 실제 데이터셋을 사용한 기준 방법 대비 총 에너지 소비를 최대 40%까지 절감한다.
• 에너지-레이트 균형 모델은 최적의 C²RM 정책 수렴 속도를 높여, 표준 최적화 도구 대비 계산 효율성이 뛰어나다.
• 이종 C² 시간 분할에 기반한 게으른 스펙트럼 공유 기법은 '스펙트럼 홀'을 성공적으로 활용하여 스펙트럼 효율성을 향상시킨다.
• 대역폭, 워크로드 파artitioning, 속도 스케일링의 공동 최적화는 특히 고계산 환경에서 뚜렷한 에너지 절감 효과를 낳는다.
• 에너지 소비를 최소화하면서도 높은 학습 정확도를 유지하여 에너지-정확도 트레이드오프 개선을 뚜렷이 보여준다.
• 실증 결과는 CPU-GPU 이종 컴퓨팅이 FEEL 시스템의 성능과 에너지 효율성 모두를 크게 향상시킨다는 것을 확인한다.