[论文解读] Frequency Cam: Imaging Periodic Signals in Real-Time

Bernd Pfrommer|arXiv (Cornell University)|Nov 1, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出 Frequency Cam，一种高效、实时的算法，利用事件相机检测周期性信号的基频。通过应用二阶无限脉冲响应（IIR）滤波器重建像素亮度并检测零电平过零点，该方法在每个像素上实现了高达 64kHz 的鲁棒、亚微秒级频率估计，相较于基线方法在抗噪性和精度方面表现更优，尤其在使用下降沿和插值时效果更佳。

ABSTRACT

Due to their high temporal resolution and large dynamic range, event cameras are uniquely suited for the analysis of time-periodic signals in an image. In this work we present an efficient and fully asynchronous event camera algorithm for detecting the fundamental frequency at which image pixels flicker. The algorithm employs a second-order digital infinite impulse response (IIR) filter to perform an approximate per-pixel brightness reconstruction and is more robust to high-frequency noise than the baseline method we compare to. We further demonstrate that using the falling edge of the signal leads to more accurate period estimates than the rising edge, and that for certain signals interpolating the zero-level crossings can further increase accuracy. Our experiments find that the outstanding capabilities of the camera in detecting frequencies up to 64kHz for a single pixel do not carry over to full sensor imaging as readout bandwidth limitations become a serious obstacle. This suggests that a hardware implementation closer to the sensor will allow for greatly improved frequency imaging. We discuss the important design parameters for fullsensor frequency imaging and present Frequency Cam, an open-source implementation as a ROS node that can run on a single core of a laptop CPU at more than 50 million events per second. It produces results that are qualitatively very similar to those obtained from the closed source vibration analysis module in Prophesee's Metavision Toolkit. The code for Frequency Cam and a demonstration video can be found at https://github.com/ros-event-camera/frequency_cam

研究动机与目标

• 利用事件相机实现对时间周期性信号的实时、逐像素频率检测，此类相机通常针对运动和亮度变化进行优化。
• 通过改进对噪声和信号波形不规则性的鲁棒性，克服仅依赖事件跳变（如上升/下降沿）的基线方法的局限性。
• 研究在硬件限制（尤其是读出带宽和动态范围）下，全传感器频率成像的可行性和性能。
• 开发一个开源、轻量级且高效的实现，适用于低功耗 CPU 部署，从而在机器人和视觉应用中实现实时频率成像。

提出的方法

• 使用二阶数字无限脉冲响应（IIR）滤波器，从异步事件流中近似重建每个像素的亮度。
• 在重建信号中检测零电平过零点，以估计周期性闪烁的周期，从而替代对单调上升/下降沿的依赖。
• 采用下降沿跳变和零过零点时间的线性插值，以提高相比上升沿的频率估计精度。
• 应用激进的偏置调节和暗噪声滤波，以抑制虚假事件，提升高动态范围场景下的信噪比。
• 以 C++ 实现为 ROS 节点，确保实时性能，优化后可在单个 CPU 核心上以超过 5000 万事件/秒的速度运行。
• 每个像素使用 24 字节状态（实际 21 字节，含填充后为 24 字节）并存储在 CPU 缓存中，以最小化内存访问延迟，8MB 总状态量可完整容纳于 L3 缓存内。

实验结果

研究问题

• RQ1 基于 IIR 滤波和过零检测的轻量级异步算法，是否能在噪声环境下优于简单的边触发方法，实现对周期性信号基频的更优估计？
• RQ2 在事件相机频率成像中，选择上升沿还是下降沿对频率估计精度有何影响？
• RQ3 与直接事件计数相比，信号插值和亮度重建在多大程度上能提升频率估计的精度？
• RQ4 在将单像素频率检测扩展至全传感器成像时，主要的硬件限制是什么，尤其是读出带宽和镜头眩光？
• RQ5 基于通用 CPU 的软件实现能否实现实时全传感器频率成像？其性能与专用解决方案相比如何？

主要发现

• IIR 滤波方法使每个像素的频率估计在高达 64kHz 时仍保持鲁棒，显著优于基线方法在高频噪声环境下的表现。
• 使用下降沿进行周期检测相比上升沿能提供更精确的频率估计，尤其在存在噪声或非单调信号跳变时。
• 对零过零点时间进行插值可提升频率估计精度，尤其对非正弦波形（如方波或三角波）效果更明显。
• 读出带宽限制严重制约全传感器频率成像的性能，表明基于传感器硬件的实现将带来显著性能提升。
• 该算法在笔记本电脑 CPU 上实现了超过 5000 万事件/秒的实时运行，结果在定性上与 Prophesee 的专用 Metavision 振动分析模块一致。
• 在高动态范围场景中，镜头眩光会显著降低频率图像质量，凸显了未来实现中需改进动态范围处理的必要性。