[论文解读] A Noise Filter for Dynamic Vision Sensors using Self-adjusting Threshold

Shasha Guo, Ziyang Kang+5 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Memory and Neural Computing参考文献 18被引用 5

一句话总结

本文提出GF，一种针对动态视觉传感器（DVS）的低复杂度噪声滤波器，利用全局时空信息区分真实事件与背景活动（BA）事件，从而减少误报和计算开销。该方法在帧清晰度和处理速度方面优于基线滤波器（如最近邻法和基于高斯的方法）。

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imagers. However, they are sensitive to background activity (BA) events which are unwanted. we propose a new criterion with little computation overhead for defining real events and BA events by utilizing the global space and time information rather than the local information by Gaussian convolution, which can be also used as a filter. We denote the filter as GF. We demonstrate GF on three datasets, each recorded by a different DVS with different output size. The experimental results show that our filter produces the clearest frames compared with baseline filters and run fast.

研究动机与目标

• 为解决动态视觉传感器（DVS）中背景活动（BA）事件带来的挑战，此类事件会降低数据质量并消耗不必要的资源。
• 开发一种噪声滤波方法，相比现有基于高斯卷积的方法，显著降低计算开销。
• 利用全局时空信息而非局部邻域数据，实现更准确的真实事件与BA事件分类。
• 设计一种滤波器，在提升事件数据帧清晰度的同时保持高处理速度。
• 在多种分辨率和输出特性各异的DVS系统上验证该滤波器的性能。

提出的方法

• 提出一种新的过滤准则GF，利用全局时空统计量对事件进行真实或BA事件的分类，避免使用局部高斯卷积。
• 基于整个帧累积事件统计量，采用自适应阈值机制，动态确定事件的有效性。
• 通过更新全局空间与时间事件密度计数器来处理每个事件，实现实时过滤且计算量极小。
• 设计两种变体：GF1适用于带极性的标准DVS（如DVS128），GF2适用于无极性传感器（如CeleX-IV），以适配不同输出格式。
• 使用地址事件表示法（AER）编码事件数据（极性、x、y、时间戳），支持高效流式处理。
• 每个事件仅执行一次写入与计算操作，相比基于邻域的方法，显著减少内存访问与处理延迟。

实验结果

研究问题

• RQ1 基于全局时空准则的滤波方法是否能在区分DVS中真实事件与背景活动方面优于基于局部邻域的方法？
• RQ2 自适应阈值机制是否能在保持高过滤准确率的同时降低计算开销？
• RQ3 与基线滤波器（如最近邻法、基于高斯的方法）相比，所提出的GF滤波器在帧清晰度与处理速度方面表现如何？
• RQ4 该滤波器是否可泛化应用于不同分辨率与输出格式各异的DVS系统？
• RQ5 该滤波器在有效去除BA事件的同时，是否能保留运动细节，特别是在慢动作或复杂场景中？

主要发现

• 在DVS128、DAVIS和CeleX-IV三个数据集上，GF生成的去噪帧清晰度均优于基线滤波器。
• GF1与GF2的运行时间显著低于基线滤波器：GF1比Bs1快2.5倍，GF2在速度上与Bs2相当但性能更优。
• 所有滤波器的FPR（误报率）均较低，尤其是Bs2，表明所提出的BA事件定义具有一致性与可靠性。
• 当使用0.5ms阈值时，Bs1的TPR（真正例率）仅为约0.5%，但将阈值提高至1ms后，TPR显著提升，证实了阈值调优的重要性。
• GF2在内存成本与效率方面表现优异，尤其在CeleX-IV等基于行的事件输出系统中，其去噪效果优于Bs3。
• 时间滤波器变体在慢动作场景中优于Bs2，尤其在较大子采样窗口（s=4）下表现更优，显示出对时间抖动更强的鲁棒性。