[논문 리뷰] Energy Efficient Federated Learning in Integrated Fog-Cloud Computing Enabled Internet-of-Things Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan외 1명|arXiv (Cornell University)|2021. 07. 07.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 5

한 줄 요약

이 논문은 통합 퍼그-클라우드 IoT 네트워크에서 두 가지 학습 시나리오인 IoT 장치에서의 로컬 모델 학습과 퍼그 액세스 포인트(F-APs)에서의 로컬 학습을 고려하여, 장치 스케줄링, 전력 할당, 계산 주파수를 공동으로 최적화함으로써 에너지 효율적인 분산학습(FL) 프레임워크를 제안한다. 주요 발견은 대규모 IoT 배포 및 높은 데이터 볼륨 환경에서는 F-AP로 오프로딩하는 것보다 IoT 장치에서 로컬로 학습하는 것이 더 에너지 효율적이라는 것이다. 이는 고정된 FL 시간 제약 조건 하에서 총 에너지 소비를 최소화하는 충돌 그래프 기반 반복 최적화를 통해 달성된다.

ABSTRACT

We investigate resource allocation scheme to reduce the energy consumption of federated learning (FL) in the integrated fog-cloud computing enabled Internet-of-things (IoT) networks. In the envisioned system, IoT devices are connected with the centralized cloud server (CS) via multiple fog access points (F-APs). We consider two different scenarios for training the local models. In the first scenario, local models are trained at the IoT devices and the F-APs upload the local model parameters to the CS. In the second scenario, local models are trained at the F-APs based on the collected data from the IoT devices and the F-APs collaborate with the CS for updating the model parameters. Our objective is to minimize the overall energy-consumption of both scenarios subject to FL time constraint. Towards this goal, we devise a joint optimization of scheduling of IoT devices with the F-APs, transmit power allocation, computation frequency allocation at the devices and F-APs and decouple it into two subproblems. In the first subproblem, we optimize the IoT device scheduling and power allocation, while in the second subproblem, we optimize the computation frequency allocation. For each scenario, we develop a conflict graph based solution to iteratively solve the two subproblems. Simulation results show that the proposed two schemes achieve a considerable performance gain in terms of the energy consumption minimization. The presented simulation results interestingly reveal that for a large number of IoT devices and large data sizes, it is more energy efficient to train the local models at the IoT devices instead of the F-APs.

연구 동기 및 목표

• 통합 퍼그-클라우드 컴퓨팅 기반 인터넷오브things(IoT) 네트워크 내 분산학습(FL)에서 에너지 소비를 줄이기 위해.
• 퍼그 또는 클라우드 인프라로 작업을 오프로딩할 경우 통신 및 계산 에너지 비용 간의 트레이드오프를 다루기 위해.
• 엄격한 FL 시간 제약 조건 하에서 자원 할당—스케줄링, 전송 전력, 계산 주파수—최적화하기 위해.
• 대규모 IoT 배포에서 IoT 장치에서 로컬 모델을 학습하는 것과 F-AP에서 학습하는 것의 에너지 효율성 비교하기 위해.
• 복잡한 공동 최적화 문제를 분리하고 해결하기 위해 그래프 이론 기반의 확장 가능한 반복적 해법 개발하기 위해.

제안 방법

• 두 시나리오인 (1) IoT 장치에서의 로컬 모델 학습, (2) F-AP에서의 로컬 학습에 대해 총 에너지 소비를 최소화하는 공동 최적화 문제를 수립한다.
• 문제를 두 개의 하위문제로 분해한다: (1) IoT 장치 스케줄링 및 전력 할당, (2) 장치 및 F-AP에서의 계산 주파수 할당.
• IoT 장치와 F-AP 간의 간섭 및 스케줄링 제약 조건을 표현하기 위해 충돌 그래프 모델링을 사용한다.
• 그래프 색칠 및 전력 제어 기반의 반복 알고리즘을 개발하여 분산적이고 확장 가능한 방식으로 하위문제를 해결한다.
• QoS 및 시간 제약 조건 하에서 전력 및 주파수 할당 하위문제를 해결하기 위해 볼록 최적화 기법을 적용한다.
• 수렴할 때까지 스케줄링, 전력, 주파수 결정을 반복적으로 개선하기 위해 분리 전략을 활용한다.

실험 결과

연구 질문

• RQ1 퍼그-클라우드 IoT 네트워크에서 어떤 조건에서 IoT 장치에서 로컬 FL 학습이 F-AP에서의 학습보다 더 에너지 효율적인가?
• RQ2 장치 스케줄링, 전송 전력, 계산 주파수를 공동으로 최적화함으로써 고정된 FL 시간 제약 조건을 만족하면서 총 에너지 소비를 최소화할 수 있는 방법은 무엇인가?
• RQ3 데이터 크기와 IoT 장치 수가 증가할 경우, 퍼그-클라우드 아키텍처에서 FL의 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 충돌 그래프 기반 반복적 방법은 고정 또는 기준 기반 방법에 비해 에너지 효율성과 시간 효율성 측면에서 어떻게 비교되는가?
• RQ5 계산 주파수 적응이 FL 학습 시간을 크게 증가시키지 않으면서도 에너지 소비를 크게 줄일 수 있는가?

주요 결과

• 대규모 IoT 장치 수와 높은 데이터 크기 환경에서는 일반적인 오프로딩 이점에 대한 일반적인 가정과는 반대로, F-AP에서의 학습보다 IoT 장치에서 로컬로 학습하는 것이 더 에너지 효율적이다.
• 특히 고도의 계산 및 데이터 부하 조건에서 고정, 전력 전용, CPU 전용 기준 대비 제안된 방법이 에너지 소비를 크게 줄였다.
• 제안된 알고리즘이 FL 학습 시간을 거의 증가시키지 않으면서도 에너지 소비를 상당히 감소시켜 유리한 에너지-시간 트레이드오프를 보였다.
• 제안된 방법의 에너지 소비는 CPU 사이클 수의 증가에 따라 약간만 증가하는 반면, 최대 주파수로 작동하는 고정 방법은 에너지 사용이 급격히 증가함을 확인했다.
• 모델 파arameter 크기가 작을 경우, FL 시간은 전송 시간보다 계산 시간에 의해 주로 결정된다.
• 데이터 크기가 증가함에 따라 제안된 방법과 전력 전용 방법 간의 성능 격차가 커지며, 이는 오프로딩이 많은 환경에서 전송 에너지 비용이 증가하기 때문이다.