[논문 리뷰] Cost-Effective Federated Learning in Mobile Edge Networks

Bing Luo, Xiang Li외 3명|arXiv (Cornell University)|2021. 09. 12.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 6

한 줄 요약

이 논문은 이동형 엣지 네트워크에서 총 비용을 최소화하기 위해 선택된 클라이언트 수(K)와 국소 학습 반복 수(E)를 함께 최적화함으로써 비용 효율적인 피어드 학습 프레임워크를 제안한다—학습 시간과 에너지 소비 간의 균형을 맞춘다. 학습 수렴과 비용, 제어 변수 간의 분석적 관계를 유도하고, 전체 시스템 지식이 필요 없이도 알려지지 않은 수렴 파라미터를 추정할 수 있는 저비용 샘플링 기반 알고리즘을 개발하였다. 이 알고리즘은 다양한 데이터셋과 시스템 설정에서 거의 최적의 성능을 달성한다.

ABSTRACT

Federated learning (FL) is a distributed learning paradigm that enables a large number of mobile devices to collaboratively learn a model under the coordination of a central server without sharing their raw data. Despite its practical efficiency and effectiveness, the iterative on-device learning process (e.g., local computations and global communications with the server) incurs a considerable cost in terms of learning time and energy consumption, which depends crucially on the number of selected clients and the number of local iterations in each training round. In this paper, we analyze how to design adaptive FL in mobile edge networks that optimally chooses these essential control variables to minimize the total cost while ensuring convergence. We establish the analytical relationship between the total cost and the control variables with the convergence upper bound. To efficiently solve the cost minimization problem, we develop a low-cost sampling-based algorithm to learn the convergence related unknown parameters. We derive important solution properties that effectively identify the design principles for different optimization metrics. Practically, we evaluate our theoretical results both in a simulated environment and on a hardware prototype. Experimental evidence verifies our derived properties and demonstrates that our proposed solution achieves near-optimal performance for different optimization metrics for various datasets and heterogeneous system and statistical settings.

연구 동기 및 목표

• 기기의 이질적 능력과 동적인 채널 조건을 가진 이동형 엣지 네트워크에서 피어드 학습(FL)의 높은 계산 및 통신 비용 문제를 해결한다.
• 학습 시간과 에너지 소비를 균형 잡기 위해 선택된 클라이언트 수(K)와 국소 반복 수(E)를 함께 최적화하는 비용 최소화 문제를 수립한다.
• 완전한 시스템 지식이 없이도 알려지지 않은 수렴 파라미터를 추정할 수 있는 실용적이고 저비용의 샘플링 기반 알고리즘을 개발한다.
• 다양한 시스템 및 통계적 이질성 하에서 최적화 지표(예: 시간 대비 에너지의 상호 교환)에 대한 분석적 설계 원칙을 수립한다.
• 시뮬레이션과 하드웨어 프로토타입을 통해 이론적 결과를 검증하여, 다양한 데이터셋과 구성에서 거의 최적의 성능을 보여준다.

제안 방법

• K와 E에 의존하는 피어드 학습 수렴에 대한 분석적 상한을 도출하여 비용 모델링을 가능하게 한다.
• 계산 시간(t_m), 통신 시간(t_p), 에너지 소비(e_m, e_p)를 포함하는 비용 모델을 제안하며, 선호도 파라미터 γ에 의해 가중치를 조정한다.
• 제한된 관측치를 사용하여 알려지지 않은 시스템 파라미터(예: 수렴 속도)를 추정하는 샘플링 기반 알고리즘을 도입하여 오버헤드를 감소시킨다.
• 기대 총 비용 함수의 1차 도함수를 분석하여 스토하스틱 최적화를 통해 K와 E의 최적 값을 유도한다.
• 이론적 결과를 바탕으로 단조성 성질을 도출한다: 최적의 K는 t_p가 증가할수록 증가하고, t_m, e_m, e_p가 증가할수록 감소한다.
• 재정렬 기반 분석을 활용하여 국소 학습을 처음 완료하는 클라이언트의 기대 시간을 계산함으로써, 라운드별 정확한 시간 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 선택된 클라이언트 수(K)와 국소 반복 수(E)가 이동형 엣지 네트워크에서 피어드 학습의 총 비용에 어떻게 영향을 미치는가?
• RQ2 이질적인 이동형 엣지 환경에서 학습 시간과 에너지 소비 간의 최적 균형은 무엇인가?
• RQ3 완전한 시스템 지식 없이도 알려지지 않은 수렴 관련 파라미터를 실용적으로 효율적으로 추정할 수 있는 방법은 무엇인가?
• RQ4 시스템 이질성(예: 기기 능력과 채널 조건의 다양성)이 K와 E의 최적 설정에 어떻게 영향을 미치는가?
• RQ5 다양한 비용 지표(예: 시간 전용, 에너지 전용, 또는 균형 잡힌 목표) 하에서 최적의 K와 E의 분석적 성질은 무엇인가?

주요 결과

• 에너지 비용이 지배적일 때(γ = 1), 최적의 클라이언트 수 K*는 1이 되며, 이는 에너지 소비를 최소화하기 위해 라운드당 한 명의 클라이언트만 선택하는 것이 유리함을 시사한다.
• 혼합 목표(0 < γ < 1)에서는 E가 증가함에 따라 K*가 처음에는 감소하다가 다시 증가함을 보여, 통신 비용과 계산 비용 간의 비단조화적 상호 교환 관계를 확인한다.
• 최적의 E*는 t_p(통신 시간)가 증가할수록 증가하고, e_p(통신당 에너지 소비)가 증가할수록 감소함을 보여, 더 긴 통신 지연은 더 많은 국소 반복을 유도함을 시사한다.
• 최적의 K*는 t_p와 e_p가 증가할수록 증가하고, t_m과 e_m이 증가할수록 감소함을 보여, 더 빠른 국소 계산 또는 더 낮은 계산당 에너지 소비는 더 큰 클라이언트 집합을 유리하게 만든다.
• γ = 0(시간 최적화)일 때는 t_m / t_p가 증가할수록, γ = 1(에너지 최적화)일 때는 e_m / e_p가 증가할수록 최적의 E*가 증가함을 확인하여, 비용 지표가 해의 형태를 결정하는 데 핵심적인 역할을 한다는 것을 확인한다.
• 하드웨어 프로토타입과 시뮬레이션 결과는 이론 모델을 검증하며, 제안된 알고리즘이 다양한 데이터셋과 시스템 구성에서 거의 최적의 성능을 달성함을 보여준다.