[논문 리뷰] Delay Minimization for Federated Learning Over Wireless Communication Networks

Zhaohui Yang, Mingzhe Chen외 5명|arXiv (Cornell University)|2020. 07. 05.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 53

한 줄 요약

논문은 무선 네트워크에서 연합학습의 계산 및 통신 지연 최소화를 공동으로 다루고 이분법 알고리즘으로 해결하여 지연을 크게 줄인다.

ABSTRACT

In this paper, the problem of delay minimization for federated learning (FL) over wireless communication networks is investigated. In the considered model, each user exploits limited local computational resources to train a local FL model with its collected data and, then, sends the trained FL model parameters to a base station (BS) which aggregates the local FL models and broadcasts the aggregated FL model back to all the users. Since FL involves learning model exchanges between the users and the BS, both computation and communication latencies are determined by the required learning accuracy level, which affects the convergence rate of the FL algorithm. This joint learning and communication problem is formulated as a delay minimization problem, where it is proved that the objective function is a convex function of the learning accuracy. Then, a bisection search algorithm is proposed to obtain the optimal solution. Simulation results show that the proposed algorithm can reduce delay by up to 27.3% compared to conventional FL methods.

연구 동기 및 목표

• 무선 네트워크에서 프라이버시 및 자원 제약으로 인한 지연 인식형 FL의 필요성을 제시한다.
• 학습 정확도에 의해 영향을 받는 로컬 계산과 무선 전송 지연을 모델링한다.
• 총 지연이 학습 정확도에 대해 볼록하며 최적 해를 이분법으로 도출한다는 것을 보인다.

제안 방법

• 주어진 정확도 η를 수행하는 K명의 사용자가 있는 기지국 1개를 갖는 셀룰러 FL 시스템을 모델링한다.
• 각 사용자의 계산 시간은 A_k log2(1/η)/f_k 이며 FDMA를 이용한 전송 제약을 도출한다.
• 지연이 η에 대해 볼록하다는 것을 증명하고 최적의 η 및 자원 할당을 찾기 위해 이분법 검색을 적용한다.
• Lemma 4-5와 Theorem 1에 의해 공동 최적화를 볼록 문제로 축소한다.
• Algorithm 2를 총 학습 시간 T에 대한 이분법으로 지연을 최소화하는 알고리즘으로 제안한다.

실험 결과

연구 질문

• RQ1 무선 링크를 통해 연합학습의 학습 지연을 로컬 계산 및 업링크 전송 자원을 공동 최적화하여 어떻게 최소화할 수 있는가?
• RQ2 FL 지연은 학습 정확도에 대해 볼록한가, 그리고 이분법 방법이 최적 해를 제공할 수 있는가?
• RQ3 지연 제약 하에서 자원 할당의 충분하고 필요한 조건은 무엇인가?
• RQ4 최적의 대역폭, 전력 및 정확도는 전체 지연을 최소화하기 위해 어떻게 trade-off 하는가?

주요 결과

• 총 FL 지연은 학습 정확도 η의 볼록 함수이다.
• 이분법 기반 알고리즘은 지연 최소화를 위한 최적 해를 얻을 수 있다.
• 계산 용량, 대역폭 할당 및 전송 전력의 공동 최적화는 참조 방식보다 지연을 더 낮게 만든다.
• 시뮬레이션은 제안된 방법이 기존 FL 방법에 비해 최대 27.3%의 지연 감소를 달성할 수 있음을 보여준다.