[论文解读] Event Camera Calibration of Per-pixel Biased Contrast Threshold

Ziwei Wang, Yonhon Ng+2 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Memory and Neural Computing参考文献 30被引用 14

一句话总结

该论文提出了一种新颖的事件相机标定方法，通过结合仅事件数据和图像-事件数据，对每个像素的对比度阈值偏差和变化进行建模。通过引入一种新的事件生成模型，并采用线性回归实现离线与在线标定，该方法显著提升了现有最先进方法在强度图像重建方面的准确性，尤其在处理像素级阈值不匹配和噪声方面表现优异。

ABSTRACT

Event cameras output asynchronous events to represent intensity changes with a high temporal resolution, even under extreme lighting conditions. Currently, most of the existing works use a single contrast threshold to estimate the intensity change of all pixels. However, complex circuit bias and manufacturing imperfections cause biased pixels and mismatch contrast threshold among pixels, which may lead to undesirable outputs. In this paper, we propose a new event camera model and two calibration approaches which cover event-only cameras and hybrid image-event cameras. When intensity images are simultaneously provided along with events, we also propose an efficient online method to calibrate event cameras that adapts to time-varying event rates. We demonstrate the advantages of our proposed methods compared to the state-of-the-art on several different event camera datasets.

研究动机与目标

• 解决由于电路级偏差和制造缺陷导致事件相机中每个像素对比度阈值不一致的问题。
• 通过建模像素特定的阈值变化而非假设统一的10%阈值，提高基于事件的图像重建精度。
• 开发适用于仅事件相机（如DVS128）和混合图像-事件相机（如DAVIS、ATIS）的标定方法，利用强度图像反馈。
• 通过一种在线方法实现实时自适应标定，以适应随时间变化的事件速率。
• 证明考虑每个像素的偏差和阈值变化可显著提升重建质量，优于现有方法。

提出的方法

• 提出一种新的事件生成模型，引入每个像素的偏差 $b^{\bf p}$ 和对比度阈值 $c^{\bf p}$，以支持像素特定的响应特性。
• 使用线性回归从事件和强度图像数据中估计 $b^{\bf p}$ 和 $c^{\bf p}$，最小化直接积分结果与参考强度图像之间的差异。
• 实现一种离线标定方法（OffE, OffEI），利用完整数据批次计算仅事件相机和图像-事件相机的最优参数。
• 开发一种在线标定方法（OnEI），通过使用最近事件和强度图像的滑动窗口，持续实时更新参数。
• 使用估计的 $b^{\bf p}$ 和 $c^{\bf p}$ 对事件进行直接积分，以重建强度图像，并与DAVIS相机的真值帧进行比较。
• 根据行为将像素分类为四类：稳定、噪声、偏差和非活动，以指导参数估计并提高鲁棒性。

实验结果

研究问题

• RQ1 电路级偏差和制造差异如何影响事件相机中每个像素的对比度阈值？
• RQ2 一种考虑偏差和阈值方差的像素级事件生成模型，能否提升图像重建精度？
• RQ3 在事件速率动态变化的环境中，在线标定与离线标定的性能相比如何？
• RQ4 与仅使用事件的方法相比，图像反馈在多大程度上能提升事件相机标定的精度？
• RQ5 所提出的标定方法能否在从事件重建强度图像方面超越现有最先进方法？

主要发现

• 所提出的离线标定方法（OffEI）在重建性能上略优于在线方法（OnEI），可能是因为数据集中环境条件保持恒定。
• 在线标定方法（OnEI）在所有三个数据集上均优于文献[5]中的方法，证明其对随时间变化的事件速率具有更强的适应能力。
• 仅事件的标定方法（OffE）性能劣于基于图像的方法，但在三个数据集中的两个中仍优于文献[5]，表明其在无强度图像条件下仍具可行性。
• 在所有数据集上，校准后均实现了均方根误差（RMSE）降低，信噪比（PSNR）和结构相似性指数（SSIM）提升，证实了图像保真度的改善。
• 该方法成功识别并缓解了特殊像素类型（如强度为零的非活动像素和噪声像素）的影响，通过分配适当的 $b^{\bf p}$ 和 $c^{\bf p}$ 值。
• 对比度阈值与默认的10%存在显著差异，某些情况下高达15%，验证了进行像素级标定的必要性。