[论文解读] DART: Distribution Aware Retinal Transform for Event-based Cameras

Bharath Ramesh, Hong Yang+4 more|arXiv (Cornell University)|Oct 30, 2017

Advanced Memory and Neural Computing参考文献 52被引用 22

一句话总结

本文提出DART，一种分布感知的视网膜变换方法，利用对数极坐标网格对脉冲相机的时空事件数据进行编码，从而实现物体分类、追踪、检测和特征匹配的鲁棒特征描述子。DART在多个事件相机数据集上达到最先进性能，包括在MNIST-DVS上实现99%的准确率，并在无人机上实现实时分类。

ABSTRACT

We introduce a generic visual descriptor, termed as distribution aware retinal transform (DART), that encodes the structural context using log-polar grids for event cameras. The DART descriptor is applied to four different problems, namely object classification, tracking, detection and feature matching: (1) The DART features are directly employed as local descriptors in a bag-of-features classification framework and testing is carried out on four standard event-based object datasets (N-MNIST, MNIST-DVS, CIFAR10-DVS, NCaltech-101). (2) Extending the classification system, tracking is demonstrated using two key novelties: (i) For overcoming the low-sample problem for the one-shot learning of a binary classifier, statistical bootstrapping is leveraged with online learning; (ii) To achieve tracker robustness, the scale and rotation equivariance property of the DART descriptors is exploited for the one-shot learning. (3) To solve the long-term object tracking problem, an object detector is designed using the principle of cluster majority voting. The detection scheme is then combined with the tracker to result in a high intersection-over-union score with augmented ground truth annotations on the publicly available event camera dataset. (4) Finally, the event context encoded by DART greatly simplifies the feature correspondence problem, especially for spatio-temporal slices far apart in time, which has not been explicitly tackled in the event-based vision domain.

研究动机与目标

• 开发一种通用且鲁棒的事件相机视觉描述子，利用对数极坐标网格捕捉结构上下文信息。
• 解决在事件相机视觉中极端运动、遮挡和视角变化下的物体识别与追踪挑战。
• 利用事件流数据实现嵌入式平台上的实时、一次学习长时序物体追踪。
• 通过在公开数据集上扩充真实标注，建立事件相机长时序物体追踪的基准。
• 简化事件视觉中远距离时间片段之间的时空特征对应关系。

提出的方法

• DART将过去事件映射到以最近事件为中心的对数极坐标网格中，通过空间分箱形成基于每个分箱插值事件计数的描述子。
• 利用队列机制在事件逐个到达时实时更新描述子，以精确保留时空信息。
• 对DART描述子进行归一化，以增强对亮度变化和运动的鲁棒性，捕捉事件的相对分布。
• 在分类任务中，将DART特征用于词袋框架，并结合多尺度测试以提升尺度不变性。
• 在追踪任务中，采用一次学习框架，利用统计自助法和DART描述子的循环移位，增强对旋转和尺度变化的鲁棒性。
• 长时序物体追踪系统（eLOT）结合局部搜索追踪器与全局检测模块，通过聚类多数投票机制在物体重新进入后实现重新初始化。

实验结果

研究问题

• RQ1 基于对数极坐标的描述子是否能在事件数据中实现对尺度、旋转和视角变化的鲁棒物体分类？
• RQ2 如何在有限训练数据下使一次学习在事件相机物体追踪中更具鲁棒性？
• RQ3 混合追踪-检测框架是否能有效应对物体重新进入和遮挡情况下的长时序物体追踪？
• RQ4 DART描述子在时间上相距较远且空间分布多变的事件流中，能否实现可靠的特征匹配？
• RQ5 所提出的系统是否能利用事件数据在无人机等嵌入式平台上实现实时性能？

主要发现

• DART在MNIST-DVS数据集上实现了99%的分类准确率，优于现有方法。
• 在CIFAR10-DVS上，DART实现了65.43%的准确率，表明其在复杂物体识别任务中的强大性能。
• 在NCaltech-101上，DART实现了70.33%的准确率，显示出其在类自然图像事件数据上的有效性。
• eLOT系统在多种相机运动轨迹（包括6-DOF）下均表现出鲁棒的长时序追踪性能，且在增强的真实标注上取得高IoU分数。
• 系统在搭载Intel Core m5-6Y57 vPro处理器的Intel Compute Stick上实现了实时性能。
• 使用DART的特征匹配在大时间间隔、尺度/旋转变化下仍能成功匹配特征，即使在遮挡或快速相机运动条件下也表现稳定。