[논문 리뷰] Fast Convergence Algorithm for Analog Federated Learning

Shuhao Xia, Jingyang Zhu외 4명|arXiv (Cornell University)|2020. 10. 30.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 6

한 줄 요약

이 논문은 노이즈 있는 페이딩 다중접속 채널을 통해 아날로그 분산 학습을 수행하기 위해 AirComp 기반의 FedSplit 알고리즘을 제안하며, 신뢰할 수 있는 모델 집계를 보장하기 위해 임계값 기반의 장치 선택 기법을 사용한다. 강한 볼록성과 미끄러움 조건 하에서 최적 해로의 선형 수렴을 증명하였으며, 수렴 성능를 채널 조건과 연결하는 유한한 오차 한계를 도출하여, 기준 대비 더 빠른 수렴 속도와 불량 조건 문제에 대한 강건성을 입증한다.

ABSTRACT

In this paper, we consider federated learning (FL) over a noisy fading multiple access channel (MAC), where an edge server aggregates the local models transmitted by multiple end devices through over-the-air computation (AirComp). To realize efficient analog federated learning over wireless channels, we propose an AirComp-based FedSplit algorithm, where a threshold-based device selection scheme is adopted to achieve reliable local model uploading. In particular, we analyze the performance of the proposed algorithm and prove that the proposed algorithm linearly converges to the optimal solutions under the assumption that the objective function is strongly convex and smooth. We also characterize the robustness of proposed algorithm to the ill-conditioned problems, thereby achieving fast convergence rates and reducing communication rounds. A finite error bound is further provided to reveal the relationship between the convergence behavior and the channel fading and noise. Our algorithm is theoretically and experimentally verified to be much more robust to the ill-conditioned problems with faster convergence compared with other benchmark FL algorithms.

연구 동기 및 목표

• 채널 페이딩과 노이즈로 인한 분산 학습 성능 저하 문제를 해결하기 위해.
• 동시 모델 집계를 위해 공유 무선 채널을 활용하는 통신 효율적인 아날로그 분산 학습 프레임워크를 설계하기 위해.
• 실제 분산 학습 응용에서 흔한 불량 조건 최적화 문제에서 빠른 수렴과 강건성을 달성하기 위해.
• 수렴 행동을 이론적으로 분석하고 채널 품질 및 노이즈에 의존하는 오차 한계를 유도하기 위해.
• 기존 기준 대비 수렴 속도 및 강건성 측면에서 제안된 알고리즘이 우월함을 검증하기 위해.

제안 방법

• 공유 무선 채널 상에서 다수의 장치로부터의 국소 모델 업데이트를 실시간으로 집계할 수 있는 AirComp 기반의 FedSplit 알고리즘을 도입한다.
• 전송 신뢰도를 높이기 위해 채널 노이즈 및 페이딩에 강건한 임계값 기반의 장치 선택 기법을 적용한다.
• 글로벌 최적화 문제를 국소 하위 문제로 분리하기 위해 연산자 분할 기반의 FedSplit 프레임워크를 활용한다.
• 채널 페이딩, 노이즈 전력 및 전송 전력, 대역폭과 같은 시스템 파라미터에 직접적으로 의존하는 기대 손실에 대한 오차 한계를 유도한다.
• 강한 볼록성과 미끄러움 조건을 가정할 때 최적 해로의 선형 수렴을 증명함으로써 이론적 수렴 보장을 확립한다.
• AirComp에서의 효과적 노이즈를 평균이 0이며 전송 신호와 독립적인 것으로 모델링하여 글로벌 모델 추정의 편향 없는 성질을 확보한다.

실험 결과

연구 질문

• RQ1 무선 채널 왜곡과 노이즈 존재 하에서 아날로그 분산 학습 프레임워크가 선형 수렴을 달성할 수 있는가?
• RQ2 제안된 임계값 기반의 장치 선택 기법은 오버-the-에어 모델 집계에서 신뢰성과 수렴에 어떤 영향을 미치는가?
• RQ3 채널 페이딩과 노이즈는 아날로그 FL의 수렴 행동에 어떤 영향을 미치며, 이를 정량화할 수 있는가?
• RQ4 기존 표준 디지털 및 아날로그 FL 기준 대비 제안된 알고리즘이 불량 조건 최적화 문제에서 어떻게 성능을 발휘하는가?
• RQ5 글로벌 모델 추정 오차는 채널 품질 및 시스템 파라미터에 따라 유한한 한계로 둘 수 있는가?

주요 결과

• 강한 볼록성과 부드러움 조건을 가정할 때, 제안된 AirComp 기반의 FedSplit 알고리즘은 최적 해로 선형 수렴한다.
• 기준 디지털 및 아날로그 FL 방법 대비 더 빠른 수렴 속도와 불량 조건 문제에 대한 향상된 강건성을 달성한다.
• 채널 페이딩과 노이즈에 직접적으로 의존하는 유한한 오차 한계를 도출하였으며, 이는 신호 대 노이즈 비율이 높을수록 수렴 정확도가 향상됨을 보여준다.
• 기대 오차는 $ \frac{G^2}{B^2} \left(B + \frac{d\sigma_w^2}{\gamma^2 P_0} \right) $ 와 비례하는 항으로 유한한 상한선을 갖는다. 여기서 $ B $ 는 선택된 장치 수, $ P_0 $ 는 전송 전력이다.
• 수치 실험을 통해 이론적 결과를 확인하였으며, 다양한 채널 조건 하에서 수렴 속도와 안정성 향상이 뚜렷하게 관측되었다.