[论文解读] Long-Lived Accurate Keypoints in Event Streams

Philippe Chiberre, Etienne Pérot+2 more|arXiv (Cornell University)|Sep 21, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出一种循环深度学习方法，通过在合成视频序列的形变关键点标签上进行训练，并利用一系列时间提前的热图预测多步轨迹，实现了事件流中长期、高精度的关键点检测与跟踪。该方法在基准数据集上的轨迹长度达到先前最先进方法的三倍，精度接近两倍。

ABSTRACT

We present a novel end-to-end approach to keypoint detection and tracking in an event stream that provides better precision and much longer keypoint tracks than previous methods. This is made possible by two contributions working together. First, we propose a simple procedure to generate stable keypoint labels, which we use to train a recurrent architecture. This training data results in detections that are very consistent over time. Moreover, we observe that previous methods for keypoint detection work on a representation (such as the time surface) that integrates events over a period of time. Since this integration is required, we claim it is better to predict the keypoints' trajectories for the time period rather than single locations, as done in previous approaches. We predict these trajectories in the form of a series of heatmaps for the integration time period. This improves the keypoint localization. Our architecture can also be kept very simple, which results in very fast inference times. We demonstrate our approach on the HVGA ATIS Corner dataset as well as "The Event-Camera Dataset and Simulator" dataset, and show it results in keypoint tracks that are three times longer and nearly twice as accurate as the best previous state-of-the-art methods. We believe our approach can be generalized to other event-based camera problems, and we release our source code to encourage other authors to explore it.

研究动机与目标

• 解决事件相机在噪声大、异步的事件流中检测稳定、长期存在的关键点的挑战。
• 通过时间序列上的轨迹预测而非单一定点位置，提升关键点定位精度。
• 通过一致的检测结果，利用简单的最近邻匹配策略实现鲁棒的长期跟踪。
• 通过轻量级循环架构，在保持高性能的同时降低计算开销。
• 尽管在平面单应变换上进行训练，仍使方法具备在3D场景中的泛化能力。

提出的方法

• 通过单应变换对COCO数据集图像进行形变，生成合成训练数据，模拟运动并转换为事件流。
• 关键点标签源自原始图像上的Harris角点检测，并相应地进行形变，确保时间一致性。
• 轻量级循环神经网络预测事件积分窗口内连续时间步的热图序列。
• 这些热图的局部极大值可提供精确且时间一致的关键点位置，提升定位精度。
• 通过帧间检测结果的简单最近邻匹配形成关键点轨迹，实现长轨迹寿命。
• 该架构计算效率高（参数少于26K），在GTX 1080上运行时间仅7ms，适用于实时应用。

实验结果

研究问题

• RQ1 在合成视频序列的形变关键点标签上进行训练，能否提升事件触发关键点检测的时间一致性？
• RQ2 与仅预测单一定点位置相比，时间序列上预测多个连续的关键点位置，是否能带来更准确、更稳定的检测结果？
• RQ3 能否通过简单、轻量级的循环架构，在事件触发关键点检测中实现更长的轨迹寿命与更高的定位精度？
• RQ4 在平面场景上训练的模型，在真实世界事件数据集的3D场景中泛化能力如何？
• RQ5 多步热图预测在保持低推理延迟的同时，能在多大程度上降低重投影误差？

主要发现

• 在HVGA ATIS Corner数据集上，该方法在$δ t = 200$ ms时将$δ t$-单应性重投影误差降低至1.84像素，接近此前最佳方法的一半。
• 轨迹寿命指标达到15.7秒，超过此前最佳方法（Arc）的0.91秒，提升三倍以上。
• 在Event-Camera Dataset上，该方法达到相对精度1.03与相对召回率2.17，优于所有先前方法，包括luvHarris。
• 网络在GTX 1080 GPU上仅需7ms推理时间，参数少于26K，支持在高事件率下实现实时运行。
• 可视化结果表明，与eHarris、eFast、Arc和luvHarris相比，该方法生成的轨迹显著更长、更平滑、更连续。
• 尽管训练数据仅包含平面变换，该方法在不同传感器数据集上仍表现出色，证明其在3D场景中的良好泛化能力。