[论文解读] A Retina-inspired Sampling Method for Visual Texture Reconstruction

Lin Zhu, Siwei Dong+2 more|arXiv (Cornell University)|Jul 20, 2019

Advanced Memory and Neural Computing参考文献 10被引用 5

一句话总结

本文提出一种视网膜启发的脉冲相机，通过将异步亮度变化编码为脉冲列来重建视觉纹理，其灵感源自中央凹的整合-放电机制。通过三种解码方法——TFI、TFP 和 TFA，该方法在高速运动和静态场景下均实现了高质量的纹理重建，其图像质量和灵活性优于传统的帧基系统与 DVS 系统。

ABSTRACT

Conventional frame-based camera is not able to meet the demand of rapid reaction for real-time applications, while the emerging dynamic vision sensor (DVS) can realize high speed capturing for moving objects. However, to achieve visual texture reconstruction, DVS need extra information apart from the output spikes. This paper introduces a fovea-like sampling method inspired by the neuron signal processing in retina, which aims at visual texture reconstruction only taking advantage of the properties of spikes. In the proposed method, the pixels independently respond to the luminance changes with temporal asynchronous spikes. Analyzing the arrivals of spikes makes it possible to restore the luminance information, enabling reconstructing the natural scene for visualization. Three decoding methods of spike stream for texture reconstruction are proposed for high-speed motion and stationary scenes. Compared to conventional frame-based camera and DVS, our model can achieve better image quality and higher flexibility, which is capable of changing the way that demanding machine vision applications are built.

研究动机与目标

• 解决动态视觉传感器（DVS）在视觉纹理重建方面的挑战，这类传感器通常缺乏强度信息，依赖帧基传感器或混合系统。
• 通过借鉴灵长类中央凹的生物原理，克服现有 DVS 和混合传感器中存在的时序错配与纹理重建质量差的问题。
• 开发一种生物启发的采样与重建框架，实现在无需外部帧传感器的前提下，实现高速、运动敏感且高保真的纹理可视化。
• 支持从脉冲数据中实时、高质量地回放历史视觉时刻，适用于自主系统与实时视觉应用。

提出的方法

• 实现一种类似中央凹的采样模型，其中每个像素根据亮度变化独立生成脉冲，模仿视网膜神经节细胞的整合-放电行为。
• 利用脉冲间隔（ISI）估计亮度强度，基于反比关系：$ I = rac{ heta}{\text{ISI}} $，从而实现从脉冲时间信息中重建强度等级。
• 提出三种解码方法：TFI（固定积分窗口的时域滤波）、TFP（可变窗口大小的时域滤波）和 TFA（自适应阈值的时域滤波）。
• 对 TFI 和 TFP 输出应用伽马校正（$ \beta = 2.2 $）以实现视觉友好的显示，而 TFA 则根据脉冲统计特性动态调整阈值。
• 通过条件 $ |\text{log(ISI}_\nu) - \text{log(ISI}_\nu)| \rangle \theta $ 将脉冲数据转换为类似 DVS 的事件，实现与事件基视觉流水线的兼容。
• 将脉冲相机原型与 40,000 Hz 的采样率集成，捕获 400×250 像素序列在多种运动条件下的完整亮度信息。

实验结果

研究问题

• RQ1 基于生物启发的脉冲采样方法是否能在不依赖帧基传感器或混合强度测量的前提下，实现视觉纹理的重建？
• RQ2 不同解码策略（TFI、TFP、TFA）在高速运动、正常速度运动和静态场景下的纹理重建质量表现如何？
• RQ3 脉冲数据在多大程度上可被转换为类似 DVS 的事件？这种转换是否能实现与现有事件基视觉系统的兼容？
• RQ4 TFA 中的自适应阈值相较于固定窗口方法，在静态区域中如何提升重建质量？
• RQ5 所提出的方法是否能在图像质量与时间灵活性方面超越传统的帧基相机与 DVS 传感器？

主要发现

• TFI 能够清晰呈现物体轮廓，但会丢失精细纹理，因此最适合用于实时应用，如目标检测与动作识别。
• TFP 和 TFA 在静态场景中实现了更高的动态范围与更细致的纹理重建，其中 TFA 因自适应阈值而优于 TFP。
• 对于 TFP，512 的时间窗口大小在细节与清晰度之间实现了最佳平衡；而更小的窗口（如 32）虽提升了运动边缘的定义，但会降低静态背景的质量。
• TFA 中的动态阈值在约 0.0125 秒内（在 40,000 Hz 采样率下）收敛至稳定值，表明其能有效适应静态像素活动。
• 通过基于 ISI 的阈值条件，可可靠地将脉冲数据转换为类似 DVS 的事件，证明其与事件基视觉流水线的兼容性。
• 脉冲相机原型成功捕获了高速（如 20,000 Hz）与正常速度运动下的完整亮度信息，仅凭脉冲流即可实现精确的纹理重建。