[논문 리뷰] Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying

Jieming Bian, Jie Xu|arXiv (Cornell University)|2022. 06. 09.

Cooperative Communication and Network Coding인용 수 7

한 줄 요약

이 논문은 클라이언트 이동성을 활용하여 모델 업데이트를 조기에 업로드하고 다운로드할 수 있는 기회를 만들어내는 비동기적 플랫폼 학습(Federated Learning) 알고리즘인 FedMobile을 제안한다. 전략적으로 리레이팅 타이밍을 조절함으로써 FedMobile은 $O(1/\text{sqrt}(NT))$의 수렴 속도를 달성하며, 이는 이동성이 높을수록 더 빠른 수렴을 보이며, 합성 데이터 및 실세계 데이터셋(Fashion-MNIST, CIFAR-10)을 통해 검증되었다.

ABSTRACT

This paper presents a study on asynchronous Federated Learning (FL) in a mobile network setting. The majority of FL algorithms assume that communication between clients and the server is always available, however, this is not the case in many real-world systems. To address this issue, the paper explores the impact of mobility on the convergence performance of asynchronous FL. By exploiting mobility, the study shows that clients can indirectly communicate with the server through another client serving as a relay, creating additional communication opportunities. This enables clients to upload local model updates sooner or receive fresher global models. We propose a new FL algorithm, called FedMobile, that incorporates opportunistic relaying and addresses key questions such as when and how to relay. We prove that FedMobile achieves a convergence rate $O(\frac{1}{\sqrt{NT}})$, where $N$ is the number of clients and $T$ is the number of communication slots, and show that the optimal design involves an interesting trade-off on the best timing of relaying. The paper also presents an extension that considers data manipulation before relaying to reduce the cost and enhance privacy. Experiment results on a synthetic dataset and two real-world datasets verify our theoretical findings.

연구 동기 및 목표

• 서버와의 통신이 불규칙하고 임의적인 모바일 환경에서 비동기 플랫폼 학습의 느린 수렴 문제를 해결한다.
• 클라이언트 이동성을 활용해 리레이팅 기반의 업로드 및 다운로드를 통해 클라이언트와 서버 간의 간접적 통신 기회를 창출한다.
• 모델의 오래됨을 최소화하고 수렴을 향상시키기 위해 업로드 및 다운로드 리레이팅을 최적의 순서로 스케줄링하는 알고리즘을 설계한다.
• 이론적·실증적으로 이동성이 증가할수록 타이밍적인 리레이팅을 통해 플랫폼 학습 수렴 성능이 향상됨을 입증한다.
• 다중 리레이팅 통신을 지원하도록 프레임워크를 확장하고, 이들의 수렴에 미치는 영향을 분석한다.

제안 방법

• 서버와의 만남 사이에 최대 한 번의 업로드 및 한 번의 다운로드 리레이팅만 허용하는 비동기 플랫폼 학습 알고리즘인 FedMobile을 제안한다.
• 리레이팅 타이밍 정책을 도입: 클라이언트는 두 번의 서버 만남 사이의 특정 지점(중점 근처가 최적)에서 리레이팅 후보를 탐색하여 신선도와 가용성의 균형을 이룬다.
• 리레이팅 과정을 이중 통신 체인(client → 리레이터 → 서버)으로 모델링하여 로컬 업데이트를 조기에 업로드하고 글로벌 모델을 빠르게 다운로드할 수 있도록 한다.
• 이론적 분석을 통해 $O(1/\text{sqrt}(NT))$의 수렴 속도를 도출하며, 이는 클라이언트 수 $N$과 통신 슬롯 수 $T$에 따라 달라지며, 리레이팅 타이밍에 대한 트레이드오프가 존재한다.
• FedMobile을 확장하여 각 간격당 다중 업로드 및 다운로드 리레이팅을 허용함으로써 성능 향상의 잠재력을 탐색한다.
• 고정 간격 및 무작위 간격 통신 패턴 하에서 합성 데이터 및 실세계 데이터셋(Fashion-MNIST, CIFAR-10)을 대상으로 실험을 수행하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 이동성을 활용한 기회적 클라이언트 간 통신이 비동기 플랫폼 학습의 수렴을 향상시킬 수 있는가?
• RQ2 모델 오래됨을 최소화하고 수렴 속도를 극대화하기 위해 업로드 및 다운로드 리레이팅의 최적 타이밍은 언제인가?
• RQ3 클라이언트 이동성이 서버와의 간접적 통신 기회 수와 그 타이밍에 어떤 영향을 미치는가?
• RQ4 업로드 및 다운로드 리레이팅을 병행할 경우, 각각을 별도로 사용할 때보다 성능 향상이 얼마나 가능한가?
• RQ5 각 간격당 다중 리레이팅 통신은 수렴에 어떤 영향을 미치며, 실세계 데이터 환경에서는 어떤 실용적 제약가 존재하는가?

주요 결과

• FedMobile은 이론적으로 $O(1/\text{sqrt}(NT))$의 수렴 속도를 달성하며, 이는 리레이팅이 비동기 플랫폼 학습에서 학습 속도를 크게 향상시킬 수 있음을 보여준다.
• 업로드 및 다운로드 리레이팅의 최적 타이밍은 연속적인 두 서버 만남 사이의 중점 근처이며, 이는 이론적으로 예측된 신선도와 가용성 간의 트레이드오프를 확인한다.
• 클라이언트 이동성이 높을수록 타이밍적인 리레이팅 기회가 증가하여 더 빠른 수렴을 이끌어내며, 이는 합성 및 실세계 데이터셋을 통해 검증되었다.
• 업로드 및 다운로드 리레이팅을 병행할 경우, 각각을 별도로 사용할 때보다 더 큰 성능 향상을 기록했으며, FMNIST 실험에서는 고정 간격 설정에서 FedMobile이 110개 슬롯 내에 70% 정확도를 달성한 반면, ASYNC는 180개 슬롯이 소요되었다.
• 다중 업로드 리레이팅은 추가로 수렴을 향상시켰지만, 다중 다운로드 리레이팅는 실세계 데이터셋에서 제한된 성능 향상을 보였으며, 이는 데이터의 복잡성이 이론적 가정을 위반했을 가능성이 있다.
• 가상 리레이팅 실험(Virtual-U 및 Virtual-D)은 서버와의 통신 빈도가 증가할수록 수렴이 향상됨을 확인했으며, 특히 초기 및 후기 학습 단계에서 두드러진 효과를 보였다.