[论文解读] Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras

R. Wes Baldwin, Mohammed Almatrafi+2 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Memory and Neural Computing参考文献 47被引用 4

一句话总结

本文提出了事件概率掩码（EPM），一种用于真实世界脉冲相机事件的时空标签，基于APS强度梯度和IMU运动数据，估算每个像素的事件发生概率。本文提出EDnCNN，一种基于CNN的去噪模型，通过最小化一种新型基准指标（RPMD）进行训练，在去噪数据上平均RPMD提升148分，并在16个场景中的12个场景中以统计显著性（p = 0.00248）优于先前方法。

ABSTRACT

This paper presents a novel method for labeling real-world neuromorphic camera sensor data by calculating the likelihood of generating an event at each pixel within a short time window, which we refer to as "event probability mask" or EPM. Its applications include (i) objective benchmarking of event denoising performance, (ii) training convolutional neural networks for noise removal called "event denoising convolutional neural network" (EDnCNN), and (iii) estimating internal neuromorphic camera parameters. We provide the first dataset (DVSNOISE20) of real-world labeled neuromorphic camera events for noise removal.

研究动机与目标

• 为解决由于噪声分布未知，导致真实世界脉冲相机数据中事件去噪缺乏可靠基准的问题。
• 通过构建大规模、真实世界标注数据集（DVSNOISE20）与事件概率掩码（EPM），实现基于机器学习的去噪。
• 开发一种稳健的数据驱动方法，利用深度学习对DVS事件进行去噪，训练目标与EPM对齐，作为无噪声事件的代理。
• 基于EPM预测，使用最大似然估计校准内部脉冲相机参数（如阈值）。
• 建立新型客观基准指标——去噪相对可信度度量（RPMD），用于定量评估去噪性能。

提出的方法

• 通过结合APS帧的空间强度梯度与IMU的运动数据，计算EPM，估算在短时间窗口内每个像素生成事件的对数似然。
• EPM作为无噪声DVS事件的代理，使尽管真实世界事件无真实标签，仍可实现去噪模型的监督训练。
• EDnCNN是一种双流卷积神经网络，通过将输入事件与EPM标签进行比较，学习将事件分类为噪声或信号。
• 模型训练目标是最小化RPMD指标，该指标量化去噪结果相对于EPM的可信度。
• 使用最大似然估计，通过将EPM模型拟合到观测事件数据，校准内部DVS阈值参数。
• DVSNOISE20数据集使用配备同步APS、DVS和IMU传感器的DAVIS相机采集，包含16个真实世界场景的EPM标签。

实验结果

研究问题

• RQ1 当真实标签不可用时，如何客观地基准化真实世界脉冲相机数据中的事件去噪性能？
• RQ2 我们能否创建一种可靠、基于数据的标签（EPM），基于可观测传感器数据预测事件生成的可能性？
• RQ3 基于EPM标签训练的深度学习模型（EDnCNN）在去噪性能上相较于现有手工设计或启发式方法，提升程度如何？
• RQ4 该方法在不同场景内容、运动状态与噪声水平下的真实世界条件下，对变化的鲁棒性如何？
• RQ5 能否基于自然场景数据，利用EPM框架准确估计内部脉冲相机参数？

主要发现

• EDnCNN在原始噪声数据上实现了平均148分的RPMD提升，显著展示了去噪性能的提升。
• EDnCNN在16个场景中的12个场景中优于所有基线方法（FSAE、IE+TE、BAF、NN、NN2），通过Wilcoxon符号秩检验，统计显著性p值为0.00248。
• 在模拟数据中，该方法对噪声水平变化表现出鲁棒性，即使背景活动噪声增加，仍保持高性能。
• EDnCNN在定性结果上表现更优，能更有效地保留边缘结构并去除孤立噪声事件，优于IE+TE或BAF等方法。
• 基于EPM的校准方法成功估计了内部DVS阈值，验证了模型与物理传感器行为的一致性。
• DVSNOISE20数据集（含EPM标签与RPMD基准）为未来脉冲相机去噪算法的评估与比较提供了新标准。