[논문 리뷰] Delay Analysis of Wireless Federated Learning Based on Saddle Point Approximation and Large Deviation Theory

Lintao Li, Longwei Yang외 5명|arXiv (Cornell University)|2021. 03. 31.

Privacy-Preserving Technologies in Data참고 문헌 51인용 수 5

한 줄 요약

이 논문은 안정점 근사법, 대 deviations 이론(LDT), 극값 이론(EVT)을 사용하여 무선 피어드 페더레이티드 러닝에서 지연 분포를 위한 통합 분석 프레임워크를 제안한다. 이는 임의의 fading 채널에서 훈련 지연의 꼬리 분포를 정확하게 근사할 수 있게 하며, 훈련 정확도가 높아질수록 근사 오차가 감소한다.

ABSTRACT

Federated learning (FL) is a collaborative machine learning paradigm, which enables deep learning model training over a large volume of decentralized data residing in mobile devices without accessing clients' private data. Driven by the ever increasing demand for model training of mobile applications or devices, a vast majority of FL tasks are implemented over wireless fading channels. Due to the time-varying nature of wireless channels, however, random delay occurs in both the uplink and downlink transmissions of FL. How to analyze the overall time consumption of a wireless FL task, or more specifically, a FL's delay distribution, becomes a challenging but important open problem, especially for delay-sensitive model training. In this paper, we present a unified framework to calculate the approximate delay distributions of FL over arbitrary fading channels. Specifically, saddle point approximation, extreme value theory (EVT), and large deviation theory (LDT) are jointly exploited to find the approximate delay distribution along with its tail distribution, which characterizes the quality-of-service of a wireless FL system. Simulation results will demonstrate that our approximation method achieves a small approximation error, which vanishes with the increase of training accuracy.

연구 동기 및 목표

• 변동하는 fading 채널으로 인해 발생하는 무선 페더레이티드 러닝에서의 종단 간 지연 분포를 특성화하는 데 도전하는 것.
• 무선 FL 시스템에서 지연을 모델링하기 위해 임의의 fading 채널에 적용 가능한 통합 분석 프레임워크를 제공하는 것.
• 지연 민감 응용 분야에서 중요한 지연의 꼬리 분포를 근사함으로써 서비스 품질 평가를 가능하게 하는 것.
• 이전 연구의 한계를 극복하기 위해 안정점 근사법, EVT, LDT를 동시에 활용하여 고정확도 지연 모델링을 구현하는 것.

제안 방법

• 무선 FL에서 한 반복의 지연 확률 밀도 함수를 유도하기 위해 안정점 근사법을 적용한다.
• 다수의 클라이언트 간 최대 지연을 모델링하기 위해 극값 이론(EVT)을 사용하여 느린 클라이언트 효과를 포착한다.
• 다중 반복에 걸친 누적 훈련 지연의 꼬리 분포를 분석하기 위해 대 deviations 이론(LDT)을 활용한다.
• 반복 지연의 모멘트 생성 함수를 유도하고 레전드르 변환을 통해 비율 함수를 계산한다.
• 수렴 기준에 도달하기까지의 반복 횟수와 개별 반복 지연의 분포를 조합하여 총 훈련 지연을 모델링한다.
• 전체 지연 분포와 연결하기 위해 확률 생성 함수(PGFs)를 사용한다.

실험 결과

연구 질문

• RQ1 임의의 fading 채널 하에서 무선 페더레이티드 러닝의 지연 분포는 어떻게 분석적으로 특성화할 수 있는가?
• RQ2 느린 클라이언트 효과와 채널 변동성은 무선 FL에서 전체 훈련 지연에 어떤 영향을 미치는가?
• RQ3 서비스 품질 평가를 위해 훈련 지연의 꼬리 분포는 얼마나 정확하게 근사할 수 있는가?
• RQ4 안정점 근사법과 대 deviations 이론이 함께 작용하여 확장 가능하고 정확한 지연 분석 프레임워크를 제공할 수 있는가?

주요 결과

• 제안된 프레임워크는 훈련 정확도가 높아질수록 감소하는 작은 근사 오차를 달성한다.
• 누적 훈련 지연의 꼬리 분포는 대 deviations 이론을 통해 정확하게 근사되며, 희귀하지만 중요한 지연 사건 하에서의 성능 평가가 가능해진다.
• 이 방법은 업링크 및 다운링크 전송 지연의 병합 효과를 효과적으로 모델링하며, 느린 클라이언트로 인한 병목 현상까지 포괄한다.
• 프레임워크는 특정 채널 모델에 국한되지 않고 임의의 fading 채널에 일반적으로 적용 가능하다.
• 시뮬레이션 결과는 안정점 근사법과 LDT 기반 근사의 정확도를 검증하였으며, 특히 지연 민감 응용 분야에서 중요한 꼬리 영역에서 뛰어난 성능을 보였다.
• 지연 분포 및 그 꼬리에 대한 유도된 식들은 체계 설계 및 최적화에 대해 확장 가능하고 계산적으로 실현 가능하다.