[论文解读] Event-based Camera Pose Tracking using a Generative Event Model

Guillermo Gallego, Christian Förster+2 more|arXiv (Cornell University)|Oct 7, 2015

Advanced Memory and Neural Computing参考文献 15被引用 38

一句话总结

本文提出了一种基于对比度残差的生成事件模型的隐式扩展卡尔曼滤波器（EKF），用于基于DVS的6自由度事件触发相机位姿跟踪。通过建模事件生成的物理传感器特性并利用亮度变化的高斯类似分布，该方法使用对比度残差作为似然度量，在实时中校正位姿估计，从而实现无需额外传感器或数据关联的精确定位。

ABSTRACT

Event-based vision sensors mimic the operation of biological retina and they represent a major paradigm shift from traditional cameras. Instead of providing frames of intensity measurements synchronously, at artificially chosen rates, event-based cameras provide information on brightness changes asynchronously, when they occur. Such non-redundant pieces of information are called "events". These sensors overcome some of the limitations of traditional cameras (response time, bandwidth and dynamic range) but require new methods to deal with the data they output. We tackle the problem of event-based camera localization in a known environment, without additional sensing, using a probabilistic generative event model in a Bayesian filtering framework. Our main contribution is the design of the likelihood function used in the filter to process the observed events. Based on the physical characteristics of the sensor and on empirical evidence of the Gaussian-like distribution of spiked events with respect to the brightness change, we propose to use the contrast residual as a measure of how well the estimated pose of the event-based camera and the environment explain the observed events. The filter allows for localization in the general case of six degrees-of-freedom motions.

研究动机与目标

• 解决在已知3D环境中，无需额外传感器的事件触发相机定位问题。
• 开发一种本征处理事件流异步性与稀疏性的概率滤波框架。
• 设计一种似然函数，以准确衡量预测位姿对观测事件的解释程度。
• 仅使用事件数据和稠密3D地图（含几何与光度信息）实现鲁棒的6自由度位姿跟踪。
• 通过对比度残差隐式关联事件与3D场景点，消除对显式数据关联的需求。

提出的方法

• 基于恒定亮度约束和时间持续性，推导出一种生成事件模型，将事件生成与局部亮度变化关联。
• 引入对比度残差作为关键测量函数，定义为事件邻域中预测对比度与观测对比度的绝对差值。
• 采用隐式EKF框架，通过对比度残差计算创新项，实现实时事件驱动状态更新。
• 利用包含几何与光度数据的稠密3D地图，预测在给定位姿下事件位置处的预期对比度。
• 从实测数据中估计事件触发阈值 $ C $，通过对比度分布的众数校准似然模型。
• 异步处理事件，通过创新项及其协方差更新状态估计，无需基于帧的处理。

实验结果

研究问题

• RQ1 如何构建一种生成事件模型，以准确反映DVS传感器在动态场景中的物理行为？
• RQ2 何种似然函数可在贝叶斯滤波框架中实现鲁棒且高效的事件触发位姿估计？
• RQ3 对比度残差能否作为原理性、数据驱动的度量，用于评估预测相机位姿与观测事件之间的兼容性？
• RQ4 在仅使用事件数据和稠密地图、无额外传感的情况下，该方法在6自由度运动估计中的表现如何？
• RQ5 隐式EKF方法在事件触发定位中，能在多大程度上消除对显式数据关联的需求？

主要发现

• 在合成数据中，该算法成功估计了恒定加速度轨迹下的DVS位姿与速度，位置和速度的相对误差均低于1%。
• 在真实世界恒定速度运动实验中，滤波器处理了约100,000个事件，实现了稳定且精确的位姿与速度估计。
• 对比度残差经实证验证为可靠的似然度量，其绝对对比度分布与高斯分布高度吻合，支持模型假设。
• 该方法实现了无需数据关联的精确定位，因为对比度残差通过地图的光度与几何结构隐式关联事件与3D场景点。
• 滤波器对噪声和非均匀事件分布具有鲁棒性，尤其在事件稀疏的平滑梯度区域表现良好。
• EKF框架实现了实时事件驱动更新，使该方法适用于高速应用场景。