[논문 리뷰] Decentralized Model Dissemination Empowered Federated Learning in mmWave Aerial-Terrestrial Integrated Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan외 1명|arXiv (Cornell University)|2023. 02. 28.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 UAV를 통해 UAV 간 통신과 장치 간 통신(D2D)을 활용하여 중앙 집중식 파rameter 서버가 필요 없도록 하는 분산형 페더레이티드 러닝(FL) 프레임워크인 FedMoD를 제안한다. 이는 mmWave 공중-지상 통합 네트워크에서 운영되며, 중앙 집중식 FL과 유사한 수렴 성능를 달성하면서도 최적화된 무선 자원 관리와 선로 간섭 없는 사용자에 대한 그래프 기반 스케줄링을 통해 에너지 소비를 크게 감소시킨다.

ABSTRACT

It is anticipated that aerial-terrestrial integrated networks incorporating unmanned aerial vehicles (UAVs) mounted relays will offer improved coverage and connectivity in the beyond 5G era. Meanwhile, federated learning (FL) is a promising distributed machine learning technique for building inference models over wireless networks due to its ability to maintain user privacy and reduce communication overhead. However, off-the-shelf FL models aggregate global parameters at a central parameter server (CPS), increasing energy consumption and latency, as well as inefficiently utilizing radio resource blocks (RRBs) for distributed user devices (UDs). This paper presents a resource-efficient FL framework, called FedMoD ( extbf{fed}erated learning with extbf{mo}del extbf{d}issemination), for millimeter-wave (mmWave) aerial-terrestrial integrated networks with the following two unique characteristics. Firstly, FedMoD presents a novel decentralized model dissemination algorithm that makes use of UAVs as local model aggregators through UAV-to-UAV and device-to-device (D2D) communications. As a result, FedMoD (i) increases the number of participant UDs in developing FL model and (ii) achieves global model aggregation without involving CPS. Secondly, FedMoD reduces the energy consumption of FL using radio resource management (RRM) under the constraints of over-the-air learning latency. In order to achieve this, by leveraging graph theory, FedMoD optimizes the scheduling of line-of-sight (LOS) UDs to suitable UAVs/RRBs over mmWave links and non-LOS UDs to available LOS UDs via overlay D2D communications. Extensive simulations reveal that decentralized FedMoD offers same convergence rate performance as compared to conventional FL frameworks.

연구 동기 및 목표

• 기존의 mmWave 공중-지상 통합 네트워크(ATINs)에서 중앙 집중식 파rameter 서버(CPS)로 인한 높은 에너지 소비와 지연 문제를 해결하기 위해.
• CPS에 의존하지 않고 UAV를 분산형 로컬 집계기로 활용하여 글로벌 FL 모델 집계를 가능하게 하기 위해.
• 공기 중 학습 지연 제약 조건 하에서 효율적인 무선 자원 관리(RRM)를 통해 FL의 에너지 소비를 최소화하기 위해.
• 그래프 이론을 활용하여 선로 간섭 없는 사용자 기반의 UAV 및 무선 자원 블록(RRB)에 대한 스케줄링을 최적화하여 mmWave 스펙트럼의 효율적 사용과 간섭 최소화를 위해.
• UAV 네트워크 토폴로지와 모델 확산 주기의 영향을 FL 수렴성과 에너지 효율성에 대해 평가하기 위해.

제안 방법

• UAV 간 통신과 D2D 통신을 활용하여 UAV가 로컬 FL 집계기로 기능하도록 하는 분산형 모델 확산 알고리즘을 제안하여 중앙 집중식 파rameter 서버 없이도 글로벌 모델 집계를 가능하게 한다.
• 선로 간섭 없는 사용자(LOS UDs)를 최적의 UAV와 RRB에 스케줄링하고, 비선로 간섭 없는 사용자(Non-LOS UDs)를 선로 간섭 없는 사용자를 통해 오버레이 D2D 통신으로 연결하는 비율 적응형 무선 자원 관리(RRM) 기법을 적용한다.
• 그래프 이론을 활용하여 사용자 기반의 UAV 및 RRB 스케줄링을 모델링하고 최적화함으로써 mmWave 스펙트럼의 효율적 사용과 간섭 최소화를 보장한다.
• UAV 간 전체 모델 교환 빈도를 제어하는 매개변수 α를 도입한 부분적 확산 메커니즘을 제안하여 수렴성과 에너지 효율성의 균형을 맞춘다.
• 채널 품질과 네트워크 토폴로지를 기반으로 사용자를 UAV와 RRB에 매칭하는 분산형 RRM 기법을 개발하여 갈등과 에너지 소비를 감소시킨다.
• 이론적 수렴 분석을 제공하여 제안된 RRM 및 확산 전략 하에서 FedMoD가 중앙 집중식 FL과 유사한 수렴 속도를 유지함을 증명한다.

Figure 1 : ATIN network with one CPS, $3$ UAVs, $9$ UDs, and a set of RRBs per each UAV. For instance, UDs $1$ , $3$ , $5$ , and $7$ do not have direct LOS links to the UAVs. Thus, they transmit the trained local models to the UAVs via LOS UDs, e.g., UDs $2$ , $4$ , and $6$ . UDs $8$ and $9$ can tra

실험 결과

연구 질문

• RQ1 mmWave 공중-지상 통합 네트워크에서 중앙 집중식 파rameter 서버 없이 글로벌 FL 모델 집계를 어떻게 달성할 수 있는가?
• RQ2 UAV 네트워크 토폴로지는 분산형 FL의 수렴 성능 및 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 UAV 간 모델 확산 주기(매개변수 α로 제어)는 학습 정확도와 수렴 안정성에 어떤 영향을 미치는가?
• RQ4 대규모 ATIN에서 분산형 RRM 기법이 중심 집중형 RRM 기법과 비교해 유사한 에너지 효율성을 달성할 수 있는가?
• RQ5 비선로 간섭 없는 사용자와 선로 간섭 없는 사용자 간 D2D 통신은 시스템 처리량 향상과 에너지 소비 감소에 어느 정도 기여하는가?

주요 결과

• FedMoD는 기존의 중앙 집중식 FL과 동일한 수렴 속도와 테스트 정확도를 달성하며, 전체 확산 시(α=1) MNIST의 테스트 정확도는 0.966, CIFAR-10의 테스트 정확도는 0.668를 기록한다.
• 전체 모델 확산 주기를 낮추는 경우(α=2 또는 3) 성능이著명하게 악화되며, MNIST의 테스트 정확도는 0.66으로, CIFAR-10의 테스트 정확도는 0.52로 떨어지며, 이는 모델 평균화가 부족하기 때문이다.
• 완전히 연결된 UAV 네트워크 토폴로지가 부분적으로 연결된 토폴로지보다 더 높은 테스트 정확도를 달성하며, α > 4일 경우 후자는 완전 연결 토폴로지 성능에 가까워진다.
• 제안된 분산형 RRM 기법은 중심 집중형 RRM 기법과 동일한 에너지 소비 성능을 달성하며, 사용자 수가 증가할수록 이를 더욱 뚜렷하게 보여준다. 이는 스케줄링 갈등 감소 덕분이다.
• 무작위 RRM 스케줄링은 가장 높은 에너지 소비를 보이며, 이는 FL 시스템에서 자원 할당을 최적화하지 않을 경우의 비효율성을 확인한다.
• 모든 테스트 기법 중 FedMoD의 평균 에너지 소비가 최소로 나타나, 제안된 RRM 및 확산 전략의 효과성을 입증한다.

Figure 2 : Transmission time structure for LOS UDs and non-LOS UDs for the $t$ -th global iteration.