[论文解读] Event-based, 6-DOF Camera Tracking for High-Speed Applications.

Guillermo Gallego, Jon E. A. Lund+4 more|arXiv (Cornell University)|Jul 12, 2016

CCD and CMOS Imaging Sensors参考文献 18被引用 23

一句话总结

本文提出了一种首个基于事件的、6自由度的相机追踪方法，能够以微秒级延迟实时处理单个事件，以估计自运动。通过利用事件相机产生的异步事件流，该方法在自然的室内外场景中实现了高速、低延迟的姿态估计，克服了传统帧基方法的局限性。

ABSTRACT

In contrast to standard cameras, which produce frames at a fixed rate, event cameras respond asynchronously to pixel-level brightness changes, thus enabling the design of new algorithms for high-speed applications with latencies of microseconds. However, this advantage comes at a cost: because the output is composed by a sequence of events, traditional computer-vision algorithms are not applicable, so that a new paradigm shift is needed. We present an event-based approach for ego-motion estimation, which provides pose updates upon the arrival of each event, thus virtually eliminating latency. Our method is the first work addressing and demonstrating event-based pose tracking in six degrees-of-freedom (DOF) motions in realistic and natural scenes, and it is able to track high-speed motions. The method is successfully evaluated in both indoor and outdoor scenes.

研究动机与目标

• 在传统帧基方法因运动模糊和固定帧率而失效的高速场景中，实现实时、低延迟的自运动估计。
• 解决将计算机视觉算法应用于事件相机数据的挑战，事件相机数据产生异步、稀疏的事件流，而非同步帧。
• 开发一种在每个事件到达时更新姿态的方法，最大限度降低延迟，实现对高速运动相机的追踪。
• 在真实、自然的环境中实现6自由度运动追踪，这是此前尚未实现的能力。

提出的方法

• 该方法单独处理每个到达的事件，采用连续时间公式估计相机运动，无需依赖帧累积。
• 采用因子图优化框架，随时间整合事件以实现高时间分辨率的6自由度姿态估计。
• 该算法将每个像素的强度变化建模为运动的函数，并随时间积分这些变化以计算运动估计。
• 采用稀疏事件表示以降低计算负载，同时保持高时间分辨率和准确性。
• 姿态更新在事件到达时逐步计算，实现近乎即时响应和微秒级延迟。

实验结果

研究问题

• RQ1 能否在真实环境中实现基于事件的6自由度相机追踪，并达到微秒级延迟？
• RQ2 在高速运动场景中，基于事件的运动估计与帧基方法相比表现如何？
• RQ3 所提出的方法是否能在不依赖固定帧处理的情况下追踪复杂、自然场景中的运动？
• RQ4 该方法在室内外高速条件下的准确性和鲁棒性如何？

主要发现

• 该方法实现了事件级实时、6自由度姿态估计，延迟达到微秒级，与帧基系统相比显著降低了延迟。
• 它成功追踪了室内外环境中的高速运动，展示了在自然场景中的鲁棒性。
• 在高速运动场景中，该方法优于传统帧基方法，因为运动模糊和帧率限制会降低后者的性能。
• 该系统通过利用事件相机的异步、高时间分辨率特性，保持了高精度。