[论文解读] EVDodge: Embodied AI For High-Speed Dodging On A Quadrotor Using Event Cameras.

Nitin J. Sanket, Chethan M. Parameshwara+5 more|arXiv (Cornell University)|Jun 7, 2019

Robotics and Sensor-Based Localization参考文献 9被引用 14

一句话总结

本文提出EVDodge，一种基于单个事件相机的实时、机载深度学习系统，可在四旋翼飞行器上实现高速躲避。该系统在仿真中使用浅层神经网络估计自身运动和动态障碍物运动，直接迁移到真实场景，成功率达70%，适用于各种障碍物和低光照条件——这是首个端到端基于学习的事件相机动态避障解决方案。

ABSTRACT

Dynamic obstacle avoidance on quadrotors requires low latency. A class of sensors that are particularly suitable for such scenarios are event cameras. In this paper, we present a deep learning -- based solution for dodging multiple dynamic obstacles on a quadrotor with a single event camera and on-board computation. Our approach uses a series of shallow neural networks for estimating both the ego-motion and the motion of independently moving objects. The networks are trained in simulation and directly transfer to the real world without any fine-tuning or retraining. We successfully evaluate and demonstrate the proposed approach in many real-world experiments with obstacles of different shapes and sizes, achieving an overall success rate of 70% including objects of unknown shape and a low light testing scenario. To our knowledge, this is the first deep learning -- based solution to the problem of dynamic obstacle avoidance using event cameras on a quadrotor. Finally, we also extend our work to the pursuit task by merely reversing the control policy, proving that our navigation stack can cater to different scenarios.

研究动机与目标

• 在高速条件下实现实时、机载的四旋翼飞行器动态障碍物避让。
• 解决在动态环境中使用事件相机实现低延迟感知的挑战。
• 开发一种可直接从仿真迁移到真实世界部署而无需微调的学习系统。
• 在各种障碍物形状、尺寸和低光照条件下展示系统的鲁棒性。
• 通过策略反转将框架扩展至其他导航任务，如追踪。

提出的方法

• 在仿真中训练一系列浅层神经网络，从事件相机数据中估计自身运动和独立运动障碍物的运动。
• 网络处理异步事件流，提取时空特征，实现实时运动矢量推断。
• 系统完全在仿真中训练，使用包含多样化障碍物动力学和环境条件的合成数据。
• 训练好的策略直接部署在四旋翼飞行器上，无需真实世界微调，确保低延迟推理。
• 通过反转控制策略实现追踪任务，证明导航堆栈的通用性。
• 机载计算确保实时性能，这对高速飞行至关重要。

实验结果

研究问题

• RQ1 基于事件相机的学习系统能否在四旋翼飞行器上实现低延迟的实时动态障碍物避让？
• RQ2 在未进行微调的情况下，仿真训练的策略在真实场景中的泛化能力如何？
• RQ3 当遇到未知形状障碍物和低光照条件时，该系统的性能如何？
• RQ4 相同的感知与控制堆栈能否被复用于其他导航任务（如追踪）？
• RQ5 仅使用单个事件相机，该系统在高速躲避场景中能达到多高的成功率？

主要发现

• 系统在真实世界的高速躲避实验中实现了70%的成功率，包括未知形状障碍物。
• 无需任何微调即可实现从仿真到现实的有效迁移，表现出强大的泛化能力。
• 该方法在低光照条件下也能成功运行，凸显了事件相机传感的优势。
• 相同的感知与控制堆栈通过策略反转可实现追踪任务，表明其广泛适用性。
• 使用浅层网络实现在机载设备上的实时推理，满足高速飞行的低延迟需求。
• 这是首个在真实世界部署中实现基于事件相机的四旋翼飞行器动态避障学习解决方案。