[논문 리뷰] Energy Efficient Federated Learning Over Wireless Communication Networks

Zhaohui Yang, Mingzhe Chen외 3명|arXiv (Cornell University)|2019. 11. 06.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 53

한 줄 요약

이 논문은 무선 네트워크에서 연합 학습(Federated Learning, FL)을 위한 에너지 최소화 프레임워크를 제안하고, 로컬 컴퓨테이션과 전송 자원을 함께 최적화하여 지연 제약을 충족시키는 반복 알고리즘으로 최대 59.5%의 에너지 절감을 달성한다.

ABSTRACT

In this paper, the problem of energy efficient transmission and computation resource allocation for federated learning (FL) over wireless communication networks is investigated. In the considered model, each user exploits limited local computational resources to train a local FL model with its collected data and, then, sends the trained FL model to a base station (BS) which aggregates the local FL model and broadcasts it back to all of the users. Since FL involves an exchange of a learning model between users and the BS, both computation and communication latencies are determined by the learning accuracy level. Meanwhile, due to the limited energy budget of the wireless users, both local computation energy and transmission energy must be considered during the FL process. This joint learning and communication problem is formulated as an optimization problem whose goal is to minimize the total energy consumption of the system under a latency constraint. To solve this problem, an iterative algorithm is proposed where, at every step, closed-form solutions for time allocation, bandwidth allocation, power control, computation frequency, and learning accuracy are derived. Since the iterative algorithm requires an initial feasible solution, we construct the completion time minimization problem and a bisection-based algorithm is proposed to obtain the optimal solution, which is a feasible solution to the original energy minimization problem. Numerical results show that the proposed algorithms can reduce up to 59.5% energy consumption compared to the conventional FL method.

연구 동기 및 목표

• 프라이버시와 자원 제약 하에서 무선 네트워크에서의 에너지 효율적인 FL을 동기 부여한다.
• 로컬 계산과 무선 전송이 FL 지연 및 에너지에 미치는 합동 영향을 모델링한다.
• 지연 제약 하에서 총 에너지를 최소화하기 위한 반복 자원 할당 알고리즘을 개발한다.

제안 방법

• 로컬 계산 및 로컬 모델의 상향링크 전송을 갖는 FDMA 셀룰러 네트워크에서의 FL을 모델링한다.
• 로컬 계산 정확도와 전역 집계하에서의 FL 수렴 속도를 도출한다.
• 시간, 대역폭, 전력, 계산 주파수, 학습 정확도에 걸친 에너지 최소화 문제를 합동으로 형상화한다.
• 각 변수에 대해 해밀한 닫힌 형식 업데이트를 갖는 저복잡도 반복 알고리즘을 제안한다.
• 완료 시간 최소화 문제를 통한 타당성 탐색 단계와 이분법 기반 해법을 제공한다.
• 학습 정확도 매개변수에 대한 딘켈바흐 기반 최적화를 포함한 상세한 자원 할당 워크플로를 제시한다.

실험 결과

연구 질문

• RQ1 무선 자원 제약 하에서 로컬 계산 정확도와 학습 동역학이 FL 성능 및 수렴에 어떻게 의존하는가?
• RQ2 지연 제약 및 자원 한계 하에서 FL을 완료하는 최소 총 에너지는 얼마인가?
• RQ3 지연 및 데이터 전송 요구사항을 만족하면서 에너지를 최소화하기 위해 시간, 대역폭, 전력, 계산 주파수를 어떻게 합동으로 최적화할 수 있는가?
• RQ4 에너지 최소화 알고리즘을 가능하게 할 수 있는 가능한 초기 해를 효율적으로 찾을 수 있는가?
• RQ5 공동 최적화 없이 기존 FL과 비교해 어떤 에너지 절감이 달성될 수 있는가?

주요 결과

• 에너지 효율적인 로컬 계산 및 전송 자원 할당의 합동 스킴은 기존 FL 방법에 비해 총 에너지 소모를 최대 59.5% 감소시킨다.
• 본 논문은 무선 환경에서 로컬 계산 정확도와 전역 집계를 포함시켰을 때의 FL 수렴 속도를 도출한다.
• 에너지 최소화 문제를 위해 시간, 대역폭, 전력, 계산 주파수, 학습 정확도에 대해 닫힌 형식 해를 갖는 반복 알고리즘을 제안한다.
• 완료 시간 최소화 접근 방식과 이분법 기반 알고리즘은 에너지 최적화를 위한 타당한 시작점을 제공한다.
• 최적화 프레임워크는 지연 제약 하에서 로컬 계산 에너지와 전송 에너지를 모두 고려하여 상당한 에너지 절감을 달성한다.