[论文解读] Are High-Resolution Event Cameras Really Needed?

Daniel Gehrig, Davide Scaramuzza|arXiv (Cornell University)|Mar 28, 2022

Advanced Memory and Neural Computing被引用 16

一句话总结

本文研究了在低光照和高速条件下，高分辨率事件相机是否真正具有优势，结果表明，由于每像素事件率降低和时间噪声减少，低分辨率传感器通常优于高分辨率传感器。研究显示，尽管带宽需求更高，高分辨率相机在事件密度增加的情况下性能下降，导致在挑战性条件下表现更差。

ABSTRACT

Due to their outstanding properties in challenging conditions, event cameras have become indispensable in a wide range of applications, ranging from automotive, computational photography, and SLAM. However, as further improvements are made to the sensor design, modern event cameras are trending toward higher and higher sensor resolutions, which result in higher bandwidth and computational requirements on downstream tasks. Despite this trend, the benefits of using high-resolution event cameras to solve standard computer vision tasks are still not clear. In this work, we report the surprising discovery that, in low-illumination conditions and at high speeds, low-resolution cameras can outperform high-resolution ones, while requiring a significantly lower bandwidth. We provide both empirical and theoretical evidence for this claim, which indicates that high-resolution event cameras exhibit higher per-pixel event rates, leading to higher temporal noise in low-illumination conditions and at high speeds. As a result, in most cases, high-resolution event cameras show a lower task performance, compared to lower resolution sensors in these conditions. We empirically validate our findings across several tasks, namely image reconstruction, optical flow estimation, and camera pose tracking, both on synthetic and real data. We believe that these findings will provide important guidelines for future trends in event camera development.

研究动机与目标

• 调查向更高分辨率事件相机发展的趋势是否在真实条件下带来实际优势。
• 分析在低光照和高速场景下，分辨率、事件率与任务性能之间的权衡。
• 评估传感器分辨率对图像重建、光流估计和相机位姿跟踪等下游视觉任务的影响。
• 提供实证和理论证据，证明在噪声大、光照弱和高速条件下，低分辨率事件相机可实现更优性能。
• 通过识别实际应用中分辨率权衡的最优解，为未来事件相机设计提供指导。

提出的方法

• 作者通过合成数据和真实世界数据，对三种核心任务（图像重建、光流估计和相机位姿跟踪）进行实证评估。
• 在理想、白天和夜间条件下，对比不同分辨率（128×128 至 1280×1280）在不同运动速度下的性能表现。
• 研究同时采用基于模型的方法（如对比度最大化、光度流）和基于学习的方法（如 E-RAFT），以评估不同算法类型的泛化能力。
• 从理论和实证角度分析每像素事件率，表明分辨率越高，每像素生成的事件越多，尤其在低光照和高速运动条件下更为显著。
• 通过分辨率归一化的终点误差（RNEPE）和位姿跟踪中的中位数位置误差（mm）量化带宽与性能。
• 评估在噪声数据上训练的影响，结果表明当学习型模型暴露于夜间条件时，可缓解高分辨率带来的劣势。

实验结果

研究问题

• RQ1 在所有光照和运动条件下，提升事件相机分辨率是否能持续改善性能？
• RQ2 每像素事件率如何随分辨率变化？这对低光照和高速场景下的时间噪声有何影响？
• RQ3 高分辨率事件相机是否更容易因事件率饱和和时间戳抖动而出现性能下降？
• RQ4 基于学习的方法能否克服高分辨率相机在噪声环境下的性能下降？若能，需在何种训练条件下实现？
• RQ5 在实际应用中，何种分辨率能在任务性能与带宽之间实现最佳权衡？

主要发现

• 在低光照和高速条件下，低分辨率事件相机（如 128×128）在光流估计中优于高分辨率相机（如 1280×1280），夜间场景下 RNEPE 值分别为 4.72（1280×1280）和 3.69（240×240）。
• 高分辨率相机表现出显著更高的每像素事件率，导致时间噪声增加，且在低光照和高速运动下鲁棒性下降。
• 在地毯序列中，夜间以 2.4 m/s 速度运动时，相机位姿中位数位置误差从 1280×1280 的 0.617 mm 增加至 640×640 的 1.01 mm，表明分辨率越高性能越差。
• 基于对比度最大化的方法（CM）仅在高速时性能下降，而基于光度的方法（EPF）即使在低速下使用高分辨率传感器时也出现性能下降。
• 基于学习的方法（如 E-RAFT）在理想条件下对高分辨率相机表现更优，但在噪声环境下性能显著下降，此时低分辨率表现更佳。
• 在夜间噪声数据上进行训练可使基于学习的模型克服分辨率劣势，表明数据分布对模型鲁棒性至关重要。