[论文解读] Machine Learning-Aided Operations and Communications of Unmanned Aerial Vehicles: A Contemporary Survey

Harrison Kurunathan, Hailong Huang+3 more|arXiv (Cornell University)|Nov 7, 2022

UAV Applications and Optimization被引用 6

一句话总结

本综述对机器学习（ML）在无人机（UAV）运行与通信中的应用进行了全面分析，将ML技术按四个关键模块进行分类：感知/特征提取、环境理解、轨迹规划和气动控制。研究识别出端到端ML集成的关键缺口，并强调亟需提升基于ML的无人机自主系统在可靠性、可信度和安全性方面的表现，以实现完全自动化和人机协同。

ABSTRACT

The ongoing amalgamation of UAV and ML techniques is creating a significant synergy and empowering UAVs with unprecedented intelligence and autonomy. This survey aims to provide a timely and comprehensive overview of ML techniques used in UAV operations and communications and identify the potential growth areas and research gaps. We emphasise the four key components of UAV operations and communications to which ML can significantly contribute, namely, perception and feature extraction, feature interpretation and regeneration, trajectory and mission planning, and aerodynamic control and operation. We classify the latest popular ML tools based on their applications to the four components and conduct gap analyses. This survey also takes a step forward by pointing out significant challenges in the upcoming realm of ML-aided automated UAV operations and communications. It is revealed that different ML techniques dominate the applications to the four key modules of UAV operations and communications. While there is an increasing trend of cross-module designs, little effort has been devoted to an end-to-end ML framework, from perception and feature extraction to aerodynamic control and operation. It is also unveiled that the reliability and trust of ML in UAV operations and applications require significant attention before full automation of UAVs and potential cooperation between UAVs and humans come to fruition.

研究动机与目标

• 提供关于无人机运行与通信中机器学习技术的及时且全面的概述，重点关注四个核心组件：感知、理解、规划与控制。
• 根据其在上述四个模块中的应用，对最新机器学习工具进行分类与分析，突出主流技术与新兴趋势。
• 识别关键研究空白，特别是从感知到控制的端到端机器学习框架缺失，以及在无人机系统中对可靠性与可信度关注不足的问题。
• 探讨在真实无人机环境中部署强化学习/深度强化学习（RL/DRL）所面临的挑战，特别是环境交互、奖励设计与测试平台验证问题。
• 倡导在实现完全部署与人机协同之前，更加重视基于机器学习的无人机自动化系统在安全性、可靠性与可信度方面的问题。

提出的方法

• 本综述对机器学习技术（如CNN、DRL、RNN、GAN和元学习）根据其在无人机运行与通信中的应用进行了系统性分类。
• 分析了深度强化学习（DRL）工具（如DQN和DDPG）在动态环境中用于在线轨迹规划、飞行控制与通信调度的应用。
• 评估了机器学习模块的集成，例如利用RNN提升DRL输入的特征提取质量，并探讨了迁移学习与元学习在低数据场景下实现数据高效适应的潜力。
• 讨论了将强化学习应用于姿态控制时面临的理论与实际挑战，包括奖励函数设计与不确定性容忍度问题，并强调静态数据集在真实无人机系统中验证DRL的局限性。
• 该方法包括对无人机运行四大核心模块的差距分析，比较不同机器学习技术并识别出如端到端学习与可信机制等尚未充分探索的领域。
• 本研究基于2015至2023年间的广泛文献综述，识别出在机器学习增强型无人机系统中，特别是在实际部署与系统可靠性方面的趋势、挑战与开放问题。

实验结果

研究问题

• RQ1 哪些机器学习技术在无人机感知与特征提取方面最为有效？它们在不同传感模态下的表现如何比较？
• RQ2 如何利用机器学习改进无人机轨迹规划与任务调度，特别是在动态与不确定环境中？
• RQ3 将深度强化学习（DRL）应用于无人机控制与通信系统时面临哪些关键挑战？如何应对？
• RQ4 为何无人机运行中缺乏端到端的机器学习框架？其技术与架构障碍是什么？
• RQ5 如何提升基于机器学习的无人机系统在可信度、可靠性和安全性方面的表现，以实现安全且可扩展的自动化与人机协同？

主要发现

• 卷积神经网络（CNN）主要用于无人机图像与视频处理，尤其在感知与特征提取任务中占主导地位。
• 深度强化学习（DRL）工具（如DQN与DDPG）越来越多地应用于在线无人机控制、轨迹规划与通信调度，在动态环境中展现出强大潜力。
• 多模块机器学习集成的趋势日益明显，例如利用RNN改善DRL的输入特征，但涵盖从感知到控制的端到端ML框架仍基本未被探索。
• 由于DRL决策具有交互性与环境改变特性，实际数据集与测试平台在验证DRL方面严重受限，静态数据集难以满足评估需求。
• 机器学习在无人机运行中的可靠性、可信度与安全性是重大开放挑战，目前针对系统鲁棒性与安全性的研究仍显不足，制约了完全自动化的发展。
• 元学习与迁移学习正成为减少数据与训练成本的有前景解决方案，尤其适用于低数据或快速变化的无人机运行场景。