[论文解读] PRED18: Dataset and Further Experiments with DAVIS Event Camera in Predator-Prey Robot Chasing

Diederik Paul Moeys, Daniel Neil+8 more|arXiv (Cornell University)|Jul 2, 2018

CCD and CMOS Imaging Sensors被引用 8

一句话总结

本文提出PRED18，一个基于DAVIS事件相机的新型数据集与机器人系统，用于实现基于动态视觉传感的实时捕食者-猎物机器人追逐。通过利用动态视觉传感器（DVS）事件与在1.25小时标注数据上训练的卷积神经网络（CNN），该系统实现了可变延迟与高能效，推理过程中对猎物的角位置估计平均误差为8.7%，展现出良好的鲁棒性，并与传统深度学习框架兼容。

ABSTRACT

Machine vision systems using convolutional neural networks (CNNs) for robotic applications are increasingly being developed. Conventional vision CNNs are driven by camera frames at constant sample rate, thus achieving a fixed latency and power consumption tradeoff. This paper describes further work on the first experiments of a closed-loop robotic system integrating a CNN together with a Dynamic and Active Pixel Vision Sensor (DAVIS) in a predator/prey scenario. The DAVIS, mounted on the predator Summit XL robot, produces frames at a fixed 15 Hz frame-rate and Dynamic Vision Sensor (DVS) histograms containing 5k ON and OFF events at a variable frame-rate ranging from 15-500 Hz depending on the robot speeds. In contrast to conventional frame-based systems, the latency and processing cost depends on the rate of change of the image. The CNN is trained offline on the 1.25h labeled dataset to recognize the position and size of the prey robot, in the field of view of the predator. During inference, combining the ten output classes of the CNN allows extracting the analog position vector of the prey relative to the predator with a mean 8.7% error in angular estimation. The system is compatible with conventional deep learning technology, but achieves a variable latency-power tradeoff that adapts automatically to the dynamics. Finally, investigations on the robustness of the algorithm, a human performance comparison and a deconvolution analysis are also explored.

研究动机与目标

• 开发一种基于事件感知的实时机器人视觉系统，实现自适应延迟与功耗。
• 构建一个大规模、带标注的数据集（PRED18），通过DAVIS事件相机捕捉动态捕食者-猎物互动过程。
• 在闭环机器人控制场景中，评估基于CNN的对象定位系统在使用DVS事件与帧数据时的性能。
• 与人类操作员进行对比，分析算法在不同运动动力学条件下的鲁棒性。

提出的方法

• 将DAVIS 240C事件相机安装在Summit XL捕食者机器人上，根据运动状态以可变速率（15–500 Hz）捕获标准15 Hz帧与异步DVS事件。
• 在1.25小时标注数据集上离线训练卷积神经网络（CNN），以分类视野中猎物机器人的位置与尺寸。
• 推理过程中，将CNN的十个输出类别组合，以估计猎物相对于捕食者的模拟角位置向量。
• 通过融合DVS事件直方图与帧数据，实现适应场景动态变化的可变延迟处理，从而在低运动阶段降低功耗。
• 应用去卷积分析以解释特征图，评估网络的可解释性。
• 与人类操作员进行性能对比，以评估系统的鲁棒性与实时有效性。

实验结果

研究问题

• RQ1 DAVIS事件相机是否能够在动态捕食者-猎物机器人场景中实现实时、低延迟且低功耗的目标跟踪？
• RQ2 在真实世界机器人追逐任务中，基于混合帧与事件数据训练的CNN性能与人类操作员相比如何？
• RQ3 该系统的可变延迟与功耗在多大程度上能够适应运动动力学的变化？
• RQ4 在不同光照与运动条件下，基于CNN的角位置估计具有多强的鲁棒性？
• RQ5 通过去卷积分析，关于事件视觉系统中的特征学习可获得哪些见解？

主要发现

• 基于CNN的系统在实时推理过程中对猎物相对于捕食者的相对位置预测，平均角位置误差为8.7%。
• 系统表现出与场景动态成比例的可变延迟与功耗，低运动阶段显著降低能耗。
• 与人类操作员的对比结果表明，该系统的追踪精度在相同任务中与人类操作员相当。
• 去卷积分析显示，网络学习到了与目标运动和位置一致的空间连贯特征。
• 将DVS事件直方图与传统CNN结合，可在不损失精度的前提下实现鲁棒、低延迟的感知。
• PRED18数据集包含1.25小时的标注数据，为事件视觉机器人研究提供了宝贵的基准。