[论文解读] Learning Vision-based Cohesive Flight in Drone Swarms

Fabian Schilling, Julien Lecoeur+2 more|arXiv (Cornell University)|Sep 3, 2018

Robotics and Sensor-Based Localization参考文献 26被引用 16

一句话总结

本文提出了一种完全去中心化的、基于视觉的无人机蜂群控制方法，通过卷积神经网络直接从原始摄像头图像中学习一致且无碰撞的飞行。通过使用基于分群算法生成的仿真数据进行训练，控制器仅依赖视觉输入预测三维速度指令，实现了无需通信或位置共享的鲁棒、样本高效的协调飞行——在未见过的蜂群规模和速度下均表现出良好的泛化能力。

ABSTRACT

This paper presents a data-driven approach to learning vision-based collective behavior from a simple flocking algorithm. We simulate a swarm of quadrotor drones and formulate the controller as a regression problem in which we generate 3D velocity commands directly from raw camera images. The dataset is created by simultaneously acquiring omnidirectional images and computing the corresponding control command from the flocking algorithm. We show that a convolutional neural network trained on the visual inputs of the drone can learn not only robust collision avoidance but also coherence of the flock in a sample-efficient manner. The neural controller effectively learns to localize other agents in the visual input, which we show by visualizing the regions with the most influence on the motion of an agent. This weakly supervised saliency map can be computed efficiently and may be used as a prior for subsequent detection and relative localization of other agents. We remove the dependence on sharing positions among flock members by taking only local visual information into account for control. Our work can therefore be seen as the first step towards a fully decentralized, vision-based flock without the need for communication or visual markers to aid detection of other agents.

研究动机与目标

• 开发一种去中心化、基于视觉的无人机蜂群控制系统，消除对位置共享或通信的依赖。
• 仅使用局部视觉输入和从原始图像端到端学习，实现密集蜂群中的鲁棒、一致飞行。
• 证明神经网络能够从视觉数据中隐式学习到自身定位和相对运动，而无需显式监督。
• 验证控制器在未见条件（如不同蜂群规模和速度）下的泛化能力。
• 为完全自主、仅依赖视觉的无人机蜂群在现实世界中的部署提供基础。

提出的方法

• 将控制器建模为回归问题：从原始全向摄像头图像中预测三维速度指令。
• 通过在随机初始化和轨迹下运行简单分群算法，生成四旋翼无人机仿真蜂群的训练数据。
• 对于每张图像，从分群算法的动力学中计算对应的期望速度指令，形成配对的视觉-控制数据集。
• 通过最小化预测值与目标值之间的误差，训练卷积神经网络（CNN）将视觉输入映射到预测的速度指令。
• 通过在倒数第二层卷积层上进行基于梯度的归因分析，计算显著性图，以可视化影响运动决策的图像区域。
• 将训练好的CNN作为实时、响应式控制器，在仿真和初步真实世界实验中使用PX4和ROS进行部署。

实验结果

研究问题

• RQ1 基于视觉的神经控制器是否能在不依赖位置共享或通信的情况下，学习实现无人机蜂群的一致、无碰撞飞行？
• RQ2 在仿真数据上训练的CNN在未见的蜂群规模和速度下，其泛化能力达到何种程度？
• RQ3 网络是否能从原始视觉输入中隐式学习到其他智能体的定位，而无需显式检测监督？
• RQ4 显著性图在识别影响运动决策的视觉显著区域方面有多有效？
• RQ5 该控制器能否使用相同的软件栈从仿真环境成功迁移到真实飞行中？

主要发现

• 基于视觉的控制器在不同规模（N=3,12）和速度（v^max=2.0, 4.0 m/s）的仿真蜂群中成功实现了无碰撞、一致的飞行，表现出强大的泛化能力。
• 即使移除引导点，控制器仍能保持稳定的智能体间距离和较高的有序参数，表明具备自组织的凝聚力。
• 显著性图可视化显示，网络能有效定位视觉场中的其他智能体，且在相机视图中可见的特定智能体位置激活度较高。
• 显著性图可通过反向传播高效计算，可作为检测或相对定位系统的实时先验信息。
• 该方法在未见条件下泛化良好，性能在扰动（如蜂群规模或速度变化）下无明显下降。
• 初步真实世界实验表明，仿真中使用的相同软件栈（PX4/ROS）可直接应用于真实无人机，支持从仿真到现实的平滑迁移。