[논문 리뷰] Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis

Hong Xing, Osvaldo Simeone외 1명|arXiv (Cornell University)|2021. 01. 29.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 114

한 줄 요약

이 논문은 장비 간(기기 간) 네트워크(D2D)에서 분산형 확률적 경사 하강법(DSGD)을 위한 디지털 및 아날로그 무선 구현을 제안하며, 무작위 선형 코딩(RLC)과 공기 중 계산(AirComp)을 활용한다. 수렴 한계를 확립하여 최적화 갭이 네트워크 연결성과 신호 대 잡음비(SNR)에 의존함을 보여주며, 볼록성과 연결성 가정 하에 이론적 보장을 받고 실험적으로 이미지 분류 작업에서 검증되었다.

ABSTRACT

The proliferation of Internet-of-Things (IoT) devices and cloud-computing applications over siloed data centers is motivating renewed interest in the collaborative training of a shared model by multiple individual clients via federated learning (FL). To improve the communication efficiency of FL implementations in wireless systems, recent works have proposed compression and dimension reduction mechanisms, along with digital and analog transmission schemes that account for channel noise, fading, and interference. The prior art has mainly focused on star topologies consisting of distributed clients and a central server. In contrast, this paper studies FL over wireless device-to-device (D2D) networks by providing theoretical insights into the performance of digital and analog implementations of decentralized stochastic gradient descent (DSGD). First, we introduce generic digital and analog wireless implementations of communication-efficient DSGD algorithms, leveraging random linear coding (RLC) for compression and over-the-air computation (AirComp) for simultaneous analog transmissions. Next, under the assumptions of convexity and connectivity, we provide convergence bounds for both implementations. The results demonstrate the dependence of the optimality gap on the connectivity and on the signal-to-noise ratio (SNR) levels in the network. The analysis is corroborated by experiments on an image-classification task.

연구 동기 및 목표

• 노이즈, fading, 간섭과 같은 실제 채널 품질 저하 상황에서 무선 D2D 분산 학습에 대한 이론적 수렴 분석의 부족을 해결하기 위해.
• 디지털(RLC 기반 압축) 및 아날로그(AirComp) 전송을 활용하여 무선 D2D 네트워크에서 분산형 FL을 위한 통신 효율적인 DSGD 알고리즘을 개발하기 위해.
• 볼록성과 네트워크 연결성 가정 하에 이러한 구현의 수렴성을 분석하고, SNR와 네트워크 연결성이 최적화 갭에 미치는 영향을 정량화하기 위해.
• 물리 계층 품질 저하와 일반적인 스케줄링/전력 할당 정책을 고려한 이론적 성능 한계를 제공하여 이전 연구에서 제한된 이상적 또는 잡음 없는 채널에만 적용된 결과를 확장하기 위해.
• 이론적 결과를 이미지 분류 작업에서의 실험을 통해 검증하여 제안된 무선 DSGD 아키텍처의 실용적 타당성을 입증하기 위해.

제안 방법

• 무작위 선형 코딩(RLC)을 활용한 기울기 압축을 통한 디지털 무선 DSGD 구현을 제안하여 통신 오버헤드를 감소시키면서도 모델 정확도를 유지한다.
• 공기 중 계산(AirComp) 기반의 아날로그 무선 DSGD 구현을 도입하여, 파형 중첩을 통한 무선 매체에서의 기울기 동시 전송을 가능하게 한다.
• 볼곱 목표 함수 하에서 두 구현의 수렴 한계를 유도하며, 라플라스 스타일 분석을 사용해 공통화 오차와 최적화 갭을 추적한다.
• 채널 노이즈, fading, 간섭의 영향을 신호 대 잡음비(SNR)와 네트워크 연결성 파rameter로 모델링하는 새로운 분석 프레임워크를 도입한다.
• 기존의 압축 및 공통화 메커니즘을 통합한 수정된 CHOCO-SGD 알고리즘을 베이스라인으로 사용하며, 무선 환경에 확장된 수렴 분석을 수행한다.
• 시간에 따라 변화하는 학습률 정책을 적용하고 오차 피드백 메커니즘을 통합하여 압축 및 채널 노이즈가 수렴에 미치는 영향을 제한한다.

실험 결과

연구 질문

• RQ1 무선 채널 노이즈와 fading은 기기 간(D2D) 분산 학습 네트워크에서 분산형 확률적 경사 하강법(DSGD)의 수렴에 어떤 영향을 미치는가?
• RQ2 네트워크 연결성과 신호 대 잡음비(SNR)가 무선 DSGD 구현에서 최적화 갭에 미치는 이론적 영향은 무엇인가?
• RQ3 공기 중 계산(AirComp)은 개별 전송을 복호하지 않고도 D2D FL에서 효율적인 기울기 집계를 가능하게 하는가?
• RQ4 무작위 선형 코딩(RLC)과 같은 압축 기법은 실제 물리 계층 제약 조건 하에서 무선 D2D FL의 수렴에 어떤 영향을 미치는가?
• RQ5 수렴 속도와 채널 품질 저하에 대한 강건성 측면에서 아날로그와 디지털 무선 DSGD의 성능 한계는 무엇인가?

주요 결과

• 제안된 디지털 및 아날로그 DSGD 구현의 수렴은 이론적으로 한정되며, 최적화 갭은 네트워크 연결성과 SNR에 반비례함을 보여준다.
• 분석 결과, 최적화 갭은 네트워크 라플라시안 행렬의 최소 고유값의 역수에 의존하는 항으로 상한이 존재하며, 이는 연결성의 영향을 반영한다.
• AirComp를 통한 아날로그 구현의 경우, 노이즈 유도 오차 바닥이 존재하며, 적절한 전력 및 스케줄링 정책 하에서는 제어 가능함을 입증하였다.
• 디지털 RLC 기반 구현은 학습률의 제곱과 압축 오차에 비례하는 수렴 속도를 보이며, SNR 및 네트워크 구조에 따라 영향을 받는 한계가 존재한다.
• 이미지 분류 작업에서의 실험 결과는 이론적 예측을 확인하였으며, 다양한 SNR 및 연결성 수준에서 안정적인 수렴을 보였다.
• 유도된 수렴 한계는 일반적인 스케줄링 및 전력 할당 정책에 대해 강건하여, 실세계의 무선 D2D 네트워크에 적용 가능함을 보였다.