[论文解读] FA-Harris: A Fast and Asynchronous Corner Detector for Event Cameras

Ruoxiang Li, Dianxi Shi+3 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Memory and Neural Computing参考文献 26被引用 4

一句话总结

本文提出 FA-Harris，一种针对事件相机的快速、异步角点检测器，可直接在原始异步事件上运行，无需合成事件帧。它通过维护全局活跃事件面（G-SAE）单元和角点候选选择机制，实现实时性能，同时采用改进的 Harris 方法确保高精度，在公共数据集上实现约 8× 的速度提升，且精度无损失。

ABSTRACT

Recently, the emerging bio-inspired event cameras have demonstrated potentials for a wide range of robotic applications in dynamic environments. In this paper, we propose a novel fast and asynchronous event-based corner detection method which is called FA-Harris. FA-Harris consists of several components, including an event filter, a Global Surface of Active Events (G-SAE) maintaining unit, a corner candidate selecting unit, and a corner candidate refining unit. The proposed G-SAE maintenance algorithm and corner candidate selection algorithm greatly enhance the real-time performance for corner detection, while the corner candidate refinement algorithm maintains the accuracy of performance by using an improved event-based Harris detector. Additionally, FA-Harris does not require artificially synthesized event-frames and can operate on asynchronous events directly. We implement the proposed method in C++ and evaluate it on public Event Camera Datasets. The results show that our method achieves approximately 8x speed-up when compared with previously reported event-based Harris detector, and with no compromise on the accuracy of performance.

研究动机与目标

• 为解决事件相机缺乏高效、真正异步的角点检测方法，这些方法可直接在异步事件流上运行。
• 克服基于帧的方法的局限性，这些方法依赖于人为合成的事件帧，从而损害了异步性并引入延迟。
• 设计一个实时角点检测流水线，在高事件速率下保持高精度。
• 通过事件相机在高速和高动态范围环境中实现鲁棒的特征提取，用于 SLAM 和视觉里程计。

提出的方法

• 该方法通过事件滤波器处理异步事件，以去除噪声并减少数据量。
• 实时维护全局活跃事件面（G-SAE），以表示时空事件活动，实现高效计算。
• 角点候选选择单元基于局部 G-SAE 曲率和梯度变化识别潜在角点，优先选择高响应区域。
• 角点候选优化单元应用改进的事件基 Harris 检测器，利用 G-SAE 上的局部强度变化对每个候选进行评分和验证。
• 整个流水线使用 C++ 实现，直接在事件流上运行，无需强度帧或帧合成。
• 算法针对低延迟处理进行了优化，计算性能以每事件处理时间及最大事件率（Meps）衡量。

实验结果

研究问题

• RQ1 能否设计一种角点检测方法，原生在异步事件流上运行，无需帧合成？
• RQ2 如何在保持精度的同时实现实时事件基角点检测？
• RQ3 基于 G-SAE 的处理对事件相机角点检测的速度和精度有何影响？
• RQ4 与现有事件基角点检测器相比，所提方法在速度、精度和误报率方面表现如何？

主要发现

• FA-Harris 相较于先前报道的 eHarris* 检测器实现了约 8× 的速度提升，每事件处理时间为 0.66 μs，最大事件速率为 1.54 Meps。
• 该方法保持高精度，在所有场景中实现 50.88% 的加权平均准确率，优于 eHarris*（50.56%）和 G-eHarris*（50.57%）。
• FA-Harris 的误报率（FPR）低于其他方法，在整体数据集上达到 2.58，表明角点检测具有更高的精度。
• 该算法在动态和高运动场景中表现出鲁棒性，在 'dynamic' 场景中 FPR 为 3.28%，在 'boxes' 场景中为 1.61%。
• 尽管比 Arc* 方法慢约 5 倍，FA-Harris 实现了显著更高的精度和更低的 FPR，表明在速度与精度之间实现了有利的权衡。
• 评估结果证实，FA-Harris 直接在异步事件上运行，无需帧合成，完整保留了事件相机的内在异步性。