[논문 리뷰] Energy-Efficient Federated Edge Learning with Joint Communication and Computation Design

Xiaopeng Mo, Jie Xu|arXiv (Cornell University)|2020. 02. 29.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 9

한 줄 요약

이 논문은 에너지 효율적인 피어드 에지 러닝을 위한 통신 및 계산 자원 할당 프레임워크를 제안하며, NOMA 및 TDMA 프로토콜 하에서 전송 전력, 전송 속도 및 CPU 주파수를 최적화한다. 통신 및 계산 에너지 간의 트레이드오프를 균형 있게 조절함으로써 상당한 에너지 절감을 달성하며, 수치 결과에 따르면 기준 대비 최대 40% 낮은 에너지 소비를 기록한다.

ABSTRACT

This paper studies a federated edge learning system, in which an edge server coordinates a set of edge devices to train a shared machine learning model based on their locally distributed data samples. During the distributed training, we exploit the joint communication and computation design for improving the system energy efficiency, in which both the communication resource allocation for global ML parameters aggregation and the computation resource allocation for locally updating MLparameters are jointly optimized. In particular, we consider two transmission protocols for edge devices to upload ML parameters to edge server, based on the non orthogonal multiple access and time division multiple access, respectively. Under both protocols, we minimize the total energy consumption at all edge devices over a particular finite training duration subject to a given training accuracy, by jointly optimizing the transmission power and rates at edge devices for uploading MLparameters and their central processing unit frequencies for local update. We propose efficient algorithms to optimally solve the formulated energy minimization problems by using the techniques from convex optimization. Numerical results show that as compared to other benchmark schemes, our proposed joint communication and computation design significantly improves the energy efficiency of the federated edge learning system, by properly balancing the energy tradeoff between communication and computation.

연구 동기 및 목표

• 무선 링크를 통해 빈번히 발생하는 모델 파rameter 교환으로 인한 피어드 에지 러닝 시스템의 높은 에너지 소비 문제를 해결한다.
• 기존의 설계 방식이 통신과 계산을 별도로 다루어 최적의 에너지 효율성을 달성하지 못하는 한계를 극복한다.
• 주어진 학습 정확도 및 지연 요구사항을 충족시키면서도 엣지 디바이스 전체의 총 에너지 소비를 최소화한다.
• 다양한 다중 액세스 방식(NOMA 대비 TDMA) 하에서 통합 최적화가 시스템 성능에 미치는 영향을 조사한다.

제안 방법

• 통신 및 계산 자원 할당을 통합한 피어드 에지 러닝을 위한 비볼록 에너지 최소화 문제를 수립한다.
• 볼록 최적화 기법을 활용해 비볼록 문제를 볼록 문제로 변환함으로써, 이중성 및 KKT 조건을 통해 최적의 해를 도출할 수 있도록 한다.
• 각 디바이스의 전송 전력, 전송 속도 및 CPU 주파수를 최적화하여 이중 문제를 해결하는 효율적인 알고리즘을 설계한다.
• 라그랑주 릴랙세이션 및 카루시-쿠른-타커(Karush-Kuhn-Tucker, KKT) 조건을 적용하여 CPU 주파수 및 전력 할당의 최적 해를 유도한다.
• 업링크 파라미터 집계를 위한 NOMA 및 TDMA 전송 프로토콜을 평가하고, 지연 제약 조건 하에서의 에너지 효율성과 실현 가능성에 대해 비교 분석한다.
• 통신(전력, 속도) 및 계산(CPU 주파수) 자원을 동시에 최적화하여 총 에너지 소비를 최소화하는 데 볼록 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 통합 통신 및 계산 설계는 별도의 최적화에 비해 피어드 에지 러닝에서 에너지 효율성을 어떻게 향상시키는가?
• RQ2 피어드 에지 러닝 시스템에서 통신 및 계산 에너지 소비 간 최적의 트레이드오프는 무엇인가?
• RQ3 에너지 효율성과 최소 실현 가능한 학습 지연 측면에서 NOMA 및 TDMA 프로토콜은 어떻게 비교되는가?
• RQ4 최대 CPU 주파수 및 전송 전력의 영향은 시스템 에너지 소비 및 성능에 어떤가?
• RQ5 학습 지연 요구사항이 다양한 전송 및 자원 할당 방식의 실현 가능성과 에너지 효율성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 통합 통신 및 계산 설계는 통합 최적화 없이 비교하는 기준 대비 총 에너지 소비를 최대 40% 감소시킨다.
• 에너지 효율성이 CPU 주파수 0.5 GHz에서 1 GHz 사이에서 최고에 이르며, 최대 CPU 주파수를 더 높여도 성능 향상이 없고 오히려 에너지 소비가 증가할 수 있다.
• 모든 설정에서 NOMA는 TDMA보다 에너지 효율성이 뛰어나며, 최소 실현 가능한 학습 지연이 더 낮다(124 s 대비 150 s).
• 학습 지연이 충분히 클 경우 NOMA와 TDMA 간 성능 격차는 미미해지며, 이는 더 높은 지연 예산에 대해 수익 감소 현상이 나타남을 시사한다.
• 계산 설계 또는 학습 지연 최소화 전용 방식은 CPU 주파수 증가에 따라 에너지 소비가 증가하는 경향을 보이며, 이는 통합 최적화의 유용성을 강조한다.
• 최적의 해는 통신 및 계산 에너지를 균형 있게 조절하며, 자원 할당의 적절한 균형이 전체 시스템의 에너지 효율성에 결정적임을 보여준다.