[论文解读] Distributed Machine Learning for UAV Swarms: Computing, Sensing, and Semantics

Yahao Ding, Zhaohui Yang+3 more|arXiv (Cornell University)|Jan 3, 2023

UAV Applications and Optimization被引用 4

一句话总结

本综述对无人机（UAV）蜂群中用于分布式机器学习（DL）的技术——联邦学习、多智能体强化学习、分割学习和分布式推理——进行了全面分析。结果表明，这些DL方法可在无线通信、远程传感、VR传输和语义通信等应用中，实现隐私保护、可扩展且自适应的UAV蜂群协同。关键结果表明，在动态环境中，收敛性得到改善，延迟降低，任务完成率提高。

ABSTRACT

Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.

研究动机与目标

• 解决集中式机器学习在UAV蜂群中面临的问题，包括能量受限、计算能力有限以及数据隐私问题。
• 研究分布式学习如何在动态、移动的UAV蜂群环境中实现协作式、实时决策。
• 分析深度学习与新兴技术（如RIS、VR和语义通信）的集成，以支持下一代UAV网络。
• 识别DL赋能的UAV蜂群架构、通信效率以及真实世界测试平台开发中的开放研究问题与未来方向。

提出的方法

• 对四种核心DL范式进行分类与比较：联邦学习（FL）、多智能体强化学习（MARL）、分割学习和分布式推理。
• 分析这些DL技术在UAV蜂群任务中的应用，如轨迹设计、功率控制、资源分配和用户分配。
• 研究马尔可夫决策过程（MDPs）和深度强化学习（DRL）框架（如TD3）在优化UAV轨迹和VR渲染模式中的应用。
• 提出通过迭代算法联合优化UAV位置、通信、计算和缓存策略，以解决非凸问题。
• 引入空中计算和语义通信框架，以减少无线传输开销，提升蜂群通信效率。
• 提出结合离线训练与在线运行的混合方法，利用DRL与博弈论实现可扩展且自适应的VR内容分发。

实验结果

研究问题

• RQ1 联邦学习如何在不共享原始传感器数据的情况下，实现UAV蜂群中隐私保护的模型训练？
• RQ2 多智能体强化学习在实现UAV蜂群协同自主、动态决策中发挥何种作用？
• RQ3 分割学习与分布式推理如何降低大规模UAV蜂群中的计算负载与通信开销？
• RQ4 分布式学习在VR内容分发和可重构智能表面（RIS）等新兴UAV应用中，如何提升性能？
• RQ5 在部署DL用于真实世界UAV蜂群系统时，其关键架构、通信与计算挑战是什么？

主要发现

• 与基线DDPG相比，采用TD3算法的DRL在VR渲染任务中显著提升了收敛速度和渲染完成率。
• UAV轨迹、缓存策略与计算资源分配的联合优化，在降低VR内容分发的回传延迟方面表现出优越性能。
• 分布式推理与分割学习通过模型分割和仅交换中间特征，实现了在UAV蜂群中对大型机器学习模型的有效训练。
• 语义通信框架被证明可支持面向任务的高效无线传输，减少冗余数据交换。
• 空中计算技术被识别为有效应对大规模UAV蜂群网络中海量接入与低延迟需求的手段。
• 真实世界测试平台与实验验证对于验证基于DL的UAV蜂群系统在动态、实时环境中的可扩展性与适应性至关重要。