[논문 리뷰] Distributed Machine Learning for UAV Swarms: Computing, Sensing, and Semantics

Yahao Ding, Zhaohui Yang외 3명|arXiv (Cornell University)|2023. 01. 03.

UAV Applications and Optimization인용 수 4

한 줄 요약

이 종합 검토는 무인 항공기(UAV) 기반의 분산 기계학습(DL) 기법—연합 학습, 다중 에이전트 강화 학습, 분할 학습, 분산 추론—에 대한 포괄적인 분석을 제시한다. 이 기법들은 무선 통신, 원격 감지, VR 전달, 의미 기반 통신 등 응용 분야에서 개인정보 보호, 확장성, 적응성 있는 UAV 기반 기동을 가능하게 한다. 주요 결과로는 동적 환경에서 수렴 속도 향상, 지연 감소, 작업 완료율 향상이 관찰되었다.

ABSTRACT

Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.

연구 동기 및 목표

• 중앙 집중식 기계학습이 UAV 기반 기동에 미치는 도전 과제를 해결하기 위해, 제한된 에너지, 계산 능력, 데이터 프라이버시 문제를 고려한다.
• 분산 학습이 동적이고 이동성이 높은 UAV 기반 기동 환경에서 협업적 실시간 의사결정을 어떻게 가능하게 하는지 탐구한다.
• RIS, VR, 의미 기반 통신과 같은 신기술과 DL의 통합을 분석하여 차세대 UAV 네트워크를 위한 기반을 마련한다.
• DL 기반 UAV 기반 기동 아키텍처, 통신 효율성, 실세계 실험 테스트베드 개발 분야에서의 열린 연구 문제와 향후 방향성을 규명한다.

제안 방법

• 연합 학습(FL), 다중 에이전트 강화 학습(MARL), 분할 학습, 분산 추론의 네 가지 핵심 DL 프레임워크를 분류하고 비교한다.
• 궤적 설계, 전력 제어, 자원 할당, 사용자 할당과 같은 UAV 기반 기동 작업에 이러한 DL 기법의 적용을 분석한다.
• 마르코프 결정 과정(MDPs)과 TD3와 같은 딥 강화 학습(DRL) 프레임워크를 활용해 UAV 궤적 및 VR 렲팅 모드 최적화를 분석한다.
• 비볼록 문제를 해결하기 위해 반복 알고리즘을 사용해 UAV 위치, 통신, 계산, 캐싱 정책을 통합 최적화한다.
• 무선 전송 오버헤드를 줄이고 효율성을 향상시키기 위해 공중에서의 계산 및 의미 기반 통신 프레임워크를 제안한다.
• 확장성과 적응성을 확보하기 위해 DRL과 게임 이론을 활용한 하이브리드 오프라인 훈련 및 온라인 실행 방식을 제안한다.

실험 결과

연구 질문

• RQ1 연합 학습은 원시 센서 데이터를 공유하지 않고도 UAV 기반 기동에서 개인정보 보호 기반 모델 훈련을 어떻게 가능하게 하는가?
• RQ2 다중 에이전트 강화 학습은 UAV 기반 기동 기동의 자율적이고 동적 의사결정을 위해 어떤 역할을 하는가?
• RQ3 분할 학습과 분산 추론은 대규모 UAV 기반 기동에서 계산 부담과 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ4 분산 학습은 VR 전달 및 재구성 가능한 지능형 표면(RIS)과 같은 신규 응용 분야에서 성능을 어떻게 향상시킬 수 있는가?
• RQ5 실세계 UAV 기반 기동 시스템에 DL을 구현할 때의 주요 아키텍처, 통신, 계산 과제는 무엇인가?

주요 결과

• TD3 알고리즘을 사용한 DRL은 기준 DDPG 대비 VR 렌더링 작업에서 수렴 속도 향상과 렌더링 완료율 향상에 뚜렷한 효과를 보였다.
• UAV 궤적, 캐싱 정책, 계산 자원 할당의 통합 최적화가 VR 콘텐츠 전달의 백홀 지연을 줄이는 데 뛰어난 성능을 보였다.
• 분산 추론과 분할 학습은 모델을 분할하고 중간 특징만 교환함으로써 대규모 UAV 기반 기동에서 큰 ML 모델의 효과적인 훈련을 가능하게 하였다.
• 의미 기반 통신 프레임워크는 중복 데이터 교환을 줄이고 임무 중심의 효율적인 무선 전송을 지원함을 입증하였다.
• 공중에서의 계산 기법은 대규모 UAV 기반 기동 네트워크에서 다량의 액세스 및 저지연 요구 사항을 효과적으로 처리하는 데 유용한 것으로 확인되었다.
• 실세계 테스트베드와 실험적 검증은 동적이고 실시간 환경에서 DL 기반 UAV 기반 기동 시스템의 확장성과 적응성 검증에 필수적이다.