[논문 리뷰] Privacy-Preserving Federated Learning for UAV-Enabled Networks: Learning-Based Joint Scheduling and Resource Management

Helin Yang, Jun Zhao외 4명|arXiv (Cornell University)|2020. 11. 28.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 14

한 줄 요약

이 논문은 원격 기기에서 원시 데이터를 전송하지 않고 로컬로 모델을 훈련시어 개인정보를 보호하는 UAV 기반 네트워크를 위한 이방형 분산 학습(AFL) 프레임워크를 제안한다. 동적으로 자원이 제한된 환경에서 기존 방법보다 더 빠른 수렴 속도와 높은 정확도를 달성하기 위해, 장치 선택, UAV 위치 결정, 자원 관리를 통합 최적화하는 A3C 기반 알고리즘을 적용한다.

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as flying base stations (BSs) for supporting data collection, artificial intelligence (AI) model training, and wireless communications. However, due to the privacy concerns of devices and limited computation or communication resource of UAVs, it is impractical to send raw data of devices to UAV servers for model training. Moreover, due to the dynamic channel condition and heterogeneous computing capacity of devices in UAV-enabled networks, the reliability and efficiency of data sharing require to be further improved. In this paper, we develop an asynchronous federated learning (AFL) framework for multi-UAV-enabled networks, which can provide asynchronous distributed computing by enabling model training locally without transmitting raw sensitive data to UAV servers. The device selection strategy is also introduced into the AFL framework to keep the low-quality devices from affecting the learning efficiency and accuracy. Moreover, we propose an asynchronous advantage actor-critic (A3C) based joint device selection, UAVs placement, and resource management algorithm to enhance the federated convergence speed and accuracy. Simulation results demonstrate that our proposed framework and algorithm achieve higher learning accuracy and faster federated execution time compared to other existing solutions.

연구 동기 및 목표

• UAV 기반 네트워크에서 기기의 원시 데이터를 UAV 서버로 전송하지 않음으로써 개인정보 문제를 해결하기 위해.
• 이종 기기와 자원이 제한된 동적 환경에서 학습 효율성과 수렴 속도를 향상시키기 위해.
• 분산 학습 실행 시간을 최소화하기 위해 장치 선택, UAV 위치 결정, 자원 할당을 통합 최적화하기 위해.
• 변동하는 채널 조건과 기기 이동성에 대비해 신뢰성과 강건성을 향상시키기 위해.

제안 방법

• 기기에서 로컬로 모델을 훈련시켜 원시 데이터를 UAV 서버로 전송할 필요 없이 원격 기기에서의 훈련을 가능하게 하는 이방형 분산 학습(AFL) 프레임워크를 개발한다.
• 저품질 기기를 제외하고 모델 정확도와 훈련 효율성을 유지하기 위해 장치 선택 전략을 도입한다.
• 장치 선택, UAV 위치 결정, 자원 할당을 통합 최적화하기 위해 이방형 이점 액터-크리틱(A3C) 강화 학습 알고리즘을 제안한다.
• 상태-행동 값 함수를 추정하기 위해 선형 함수 근사법을 사용한다: $ Q(s,a;\bm{\theta}_c) = \bm{\theta}_c^T \cdot \bm{\Psi}(s,a) $.
• 최적의 상태-행동 값 함수를 근사하기 위해 평균 제곱 프로젝션 벨만 오차를 최소화하는 크리틱 네트워크를 사용한다.
• 다중 UAV 환경에서 다수의 에이전트를 조율하여 각 UAV가 공동 결정을 위한 전역 상태-행동 값 함수의 공유 추정치를 업데이트할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모바일 기기 간 AI 모델 훈련을 수행할 때 UAV 기반 네트워크에서 개인정보를 어떻게 보호할 수 있는가?
• RQ2 기기의 이질성과 동적 채널 조건은 UAV 네트워크에서 분산 학습의 수렴에 어떤 영향을 미치는가?
• RQ3 장치 선택, UAV 위치 결정, 자원 할당을 통합 최적화하면 분산 학습 성능에 어떤 영향을 미치는가?
• RQ4 다중 에이전트 A3C 접근 방식은 UAV와 기기를 효과적으로 조율하여 수렴 속도를 향상시키고 실행 시간을 단축시킬 수 있는가?

주요 결과

• 제안된 AFL 프레임워크는 효과적인 장치 선택과 개인정보 보존 훈련 덕분에 기준 방법 대비 더 높은 모델 정확도를 달성한다.
• A3C 기반 통합 최적화 알고리즘은 UAV 위치 결정과 자원 할당을 효율적으로 관리함으로써 분산 학습 실행 시간을 단축시킨다.
• 시뮬레이션 결과는 동적 채널 조건과 다양한 기기 이동성 하에서도 더 빠른 수렴 속도를 보였다.
• 저품질 기기가 존재하더라도 장치 선택 메커니즘 덕분에 높은 학습 정확도를 유지한다.
• 액터-크리틱 네트워크의 수렴 분석을 통해 A3C 알고리즘이 높은 확률로 안정된 해에 수렴함을 입증하였다.