[논문 리뷰] Fully Decentralized Federated Learning Based Beamforming Design for UAV Communications

Yue Xiao, Ye Yu외 5명|arXiv (Cornell University)|2020. 07. 27.

Advanced MIMO Systems Optimization참고 문헌 23인용 수 10

한 줄 요약

이 논문은 UAV 통신에서 강인한 비례형 조향을 위한 비정확한 확률적 평행 랜덤 워크 ADMM(이하 ISPW-ADMM)를 사용하는 완전 탈중앙화된 피에드레이티드 학습 프레임워크를 제안한다. 확률적 그래디언트와 편향이 있는 1차 모멘트 추정을 활용함으로써, 시간에 따라 변화하는 동적 네트워크에서 빠른 수렴, 높은 통신 효율성, 향상된 프라이버시를 달성한다. 시뮬레이션을 통해 ELM 기반의 조향 설계에서 최신 기술 대비 스펙트럼 효율성과 에너지 효율성에서 뛰어난 성능을 입증하였다.

ABSTRACT

To handle the data explosion in the era of internet of things (IoT), it is of interest to investigate the decentralized network, with the aim at relaxing the burden to central server along with keeping data privacy. In this work, we develop a fully decentralized federated learning (FL) framework with an inexact stochastic parallel random walk alternating direction method of multipliers (ISPW-ADMM). Performing more communication efficient and enhanced privacy preservation compared with the current state-of-the-art, the proposed ISPW-ADMM can be partially immune to the impacts from time-varying dynamic network and stochastic data collection, while still in fast convergence. Benefits from the stochastic gradients and biased first-order moment estimation, the proposed framework can be applied to any decentralized FL tasks over time-varying graphs. Thus to further demonstrate the practicability of such framework in providing fast convergence, high communication efficiency, and system robustness, we study the extreme learning machine(ELM)-based FL model for robust beamforming (BF) design in UAV communications, as verified by the numerical simulations.

연구 동기 및 목표

• 중앙집중형 피에드레이티드 학습이 UAV 네트워크에서 유발하는 단일 장애 지점, 높은 통신 비용, 프라이버시 리스크 등의 과제를 해결하기 위해.
• 시간에 따라 변화하는 네트워크 토폴로지와 확률적 데이터 수집 환경에 강건한 완전 탈중앙화된 피에드레이티드 학습 프레임워크를 설계하기 위해.
• 탈중앙화된 피에드레이티드 학습을 통해 극한 학습기(ELM)를 훈련시켜 효율적이고 프라이버시 보호 기능이 있는 강인한 조향을 실현하기 위해.
• 기존의 탈중앙화 최적화 방법 대비 동적 UAV 네트워크에서 통신 효율성과 수렴 속도를 향상시키기 위해.
• 실세계 UAV 통신 시나리오에서의 프레임워크 성능을 수치 시뮬레이션을 통해 검증하기 위해.

제안 방법

• 제안된 ISPW-ADMM 알고리즘은 비정확한 이중 업데이트와 확률적 평행 랜덤 워크를 사용하여 시간에 따라 변화하는 그래프에서 공통 최적화 문제를 해결한다.
• 수렴 속도를 가속화하고 데이터 불균형을 처리하기 위해 확률적 그래디언트와 편향이 있는 1차 모멘트 추정을 통합한다.
• 각 UAV가 자체 데이터를 사용해 로컬 모델을 훈련하고 모델 업데이트만을 교환하는 탈중앙화된 ELM 모델에 프레임워크를 적용한다.
• 로컬 손실 함수는 $ f_i(x_i; \zeta_i) = \frac{1}{2\lambda_e}\|\mathbf{W}_i x_i - \mathbf{T}_i\|^2 + \frac{1}{2}\|x_i\|^2 $ 로 정의되며, 훈련 오차와 정규화를 최소화한다.
• 은닉층은 채널 상태 정보에서 특징을 추출하기 위해 시그모이드 활성화 함수 $ G_{i,q}(\mathbb{a}_q, b_q \mathbf{S}_{i,d}) = (1 + \exp(- (\mathbb{a}_q \mathbf{S}_{i,d} + b_q)))^{-1} $ 를 사용한다.
• 중앙 서버 없이 작동하여 피어 투 피어 통신과 동적 UAV 네트워크에서 완전한 탈중앙화를 실현한다.

실험 결과

연구 질문

• RQ1 완전 탈중앙화된 피에드레이티드 학습 프레임워크는 시간에 따라 변화하는 UAV 네트워크에서 빠른 수렴과 높은 통신 효율성을 달성할 수 있는가?
• RQ2 UAV 조향 작업에서 ISPW-ADMM 알고리즘이 W-ADMM, DGD, D-ADMM 대비 스펙트럼 효율성과 에너지 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 확률적 그래디언트와 편향이 있는 1차 모멘트 추정의 사용이 불균형하고 동적인 데이터 환경에서 수렴을 얼마나 향상시키는가?
• RQ4 ELM 기반의 FL 모델은 UAV 통신에서 노이즈가 많은 채널과 불완전한 CSI에 대해 강인성을 유지할 수 있는가?
• RQ5 제안된 프레임워크는 탈중앙화된 UAV 스웜에서 글로벌 모델 수렴을 보장하면서도 데이터 프라이버시를 어떻게 보호하는가?

주요 결과

• ISPW-ADMM는 실행 시간 측면에서 가장 빠른 수렴 속도를 보이며, 동적 UAV 네트워크 시나리오에서 W-ADMM, PW-ADMM, DGD, D-ADMM를 모두 능가한다.
• 제안된 방법은 특히 채널 다양성이 높은 다영역(Region-2) 시나리오에서 기존 기준 대비 더 효과적으로 정규화된 평균 제곱 오차(NMSE)를 감소시킨다.
• ISPW-ADMM는 다양한 SNR 수준에서 뛰어난 스펙트럼 효율성을 보이며, 특히 불완전한 CSI 조건에서도 ELM 기반 조향기의 강인성 덕분에 유리하다.
• 알고리즘은 가장 에너지 효율적이며, DGD와 D-ADMM보다 더 적은 링크 활성화 수를 통해 더 낮은 통신 비용을 요구한다.
• 1개 영역(Region-1) 케이스에서는 NMSE가 Region-2보다 낮아, 더 적고 균일한 채널 유형에서 더 뛰어난 성능을 보인다.
• ISPW-ADMM를 통해 훈련된 ELM 기반 조향 모델은 높은 노이즈 수준에 대해 강력한 내성력을 보이며, 훈련 데이터에 극단적인 노이즈가 추가된 경우에도 성능을 유지한다.