[论文解读] Matrix-LSTM: a Differentiable Recurrent Surface for Asynchronous Event-Based Data.

Marco Cannici, Marco Ciccone+2 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Memory and Neural Computing参考文献 25被引用 6

一句话总结

本文提出 Matrix-LSTM，一种可微分的循环表面，通过使用 LSTM 单元网格，以端到端方式学习从动态视觉传感器（Dynamic Vision Sensors）重建事件数据为特定任务的表示。通过端到端训练，该方法在 MVSEC 数据集上提升了光流估计性能，并在 N-Cars 事件数据对象分类任务中达到最先进水平。

ABSTRACT

Dynamic Vision Sensors (DVSs) asynchronously stream events in correspondence of pixels subject to brightness changes. Differently from classic vision devices, they produce a sparse representation of the scene. Therefore, to apply standard computer vision algorithms, events need to be integrated into a frame or event-surface. This is usually attained through hand-crafted grids that reconstruct the frame using ad-hoc heuristics. In this paper, we propose Matrix-LSTM, a grid of Long Short-Term Memory (LSTM) cells that efficiently process events and learn end-to-end task-dependent event-surfaces. Compared to existing reconstruction approaches, our learned event-surface shows good flexibility and expressiveness on optical flow estimation on the MVSEC benchmark and it improves the state-of-the-art of event-based object classification on the N-Cars dataset.

研究动机与目标

• 解决手工设计网格在从动态视觉传感器重建事件数据方面的局限性。
• 学习特定任务的、端到端的事件表面，以适应下游视觉任务。
• 利用异步事件数据提升光流估计与对象分类的性能。
• 以可微分的、可学习的循环架构替代基于启发式规则的帧集成方法。

提出的方法

• Matrix-LSTM 使用长短期记忆（LSTM）单元网格，以可微分方式处理异步事件。
• 每个 LSTM 单元在其局部空间区域内处理事件，捕捉事件之间的时序依赖关系。
• 通过端到端训练，网络学习连续且可微分的事件表面表示。
• 该架构支持事件集成与下游任务性能的联合优化。
• 它以可学习的、循环的处理机制替代传统固定的网格集成方法。
• 该模型在下游任务（如光流估计与分类）上进行端到端训练。

实验结果

研究问题

• RQ1 可学习的循环架构是否能在重建事件数据方面优于手工设计的网格？
• RQ2 可微分事件表面在 MVSEC 基准上能多大程度改善光流估计性能？
• RQ3 Matrix-LSTM 是否能在 N-Cars 数据集上实现事件数据对象分类的最先进性能？
• RQ4 事件表面的端到端训练在多大程度上提升了下游任务的准确性？
• RQ5 与传统集成方法相比，所学习的事件表面在表达能力与灵活性方面表现如何？

主要发现

• Matrix-LSTM 在 N-Cars 数据集上的事件数据对象分类任务中达到最先进性能。
• 所学习的事件表面相比先前方法，在 MVSEC 基准上提升了光流估计性能。
• 该模型在灵活性与表达能力方面优于基于手工网格的集成方法。
• 端到端训练使网络能够学习增强下游性能的任务特定表示。
• 可微分的循环结构能有效捕捉稀疏、异步事件流中的时序动态。
• 该方法减少了对启发式集成规则的依赖，实现了自适应且数据驱动的表面构建。