[论文解读] Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks

Jesse J. Hagenaars, Federico Paredes-Vallés+1 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Memory and Neural Computing被引用 62

一句话总结

本文提出一种自监督框架，用于训练深度脉冲神经网络（SNNs）以进行密集事件基础光流估计，在探索代理梯度和自适应脉冲机制的同时，达到与最先进的人工神经网络方法相媲美的性能。

ABSTRACT

The field of neuromorphic computing promises extremely low-power and low-latency sensing and processing. Challenges in transferring learning algorithms from traditional artificial neural networks (ANNs) to spiking neural networks (SNNs) have so far prevented their application to large-scale, complex regression tasks. Furthermore, realizing a truly asynchronous and fully neuromorphic pipeline that maximally attains the abovementioned benefits involves rethinking the way in which this pipeline takes in and accumulates information. In the case of perception, spikes would be passed as-is and one-by-one between an event camera and an SNN, meaning all temporal integration of information must happen inside the network. In this article, we tackle these two problems. We focus on the complex task of learning to estimate optical flow from event-based camera inputs in a self-supervised manner, and modify the state-of-the-art ANN training pipeline to encode minimal temporal information in its inputs. Moreover, we reformulate the self-supervised loss function for event-based optical flow to improve its convexity. We perform experiments with various types of recurrent ANNs and SNNs using the proposed pipeline. Concerning SNNs, we investigate the effects of elements such as parameter initialization and optimization, surrogate gradient shape, and adaptive neuronal mechanisms. We find that initialization and surrogate gradient width play a crucial part in enabling learning with sparse inputs, while the inclusion of adaptivity and learnable neuronal parameters can improve performance. We show that the performance of the proposed ANNs and SNNs are on par with that of the current state-of-the-art ANNs trained in a self-supervised manner.

研究动机与目标

• 展示使用深度SNNs的事件基光流自监督学习（SSL）框架。
• 重新表述输入表示以尽量减少输入中的时间编码，与完全异步的神经形态处理保持一致。
• 研究神经元模型、初始化、代理梯度和自适应机制如何影响在稀疏事件数据上的学习。
• 评估深度SNNs是否能在标准事件基光流基准上达到最先进的SSL性能。

提出的方法

• 将输入表示为每像素、每极性的事件计数，分布在小的非重叠分区中，以最小化输入的时间信息。
• 使用改良的对比最大化SSL损失进行运动补偿，提升凸性并支持事件的前向/后向变形（配准）。
• 定义一个输入训练分区缓冲区，支持稀疏事件的时序反向传播以及光流估计的时间平滑。
• 比较多种脉冲神经元模型（LIF、ALIF、PLIF、XLIF）及各种自适应机制，使用代理梯度(aTan prime)并考虑能耗因素。
• 使用基于ConvGRU的循环体系结构（EV-FlowNet及FireNet变体），为SNN改造，带有学习的TanH解码器以输出密集光流图。
• 在MVSEC及其他事件数据集上进行训练和评估，对初始化、代理梯度宽度和自适应方案进行消融研究。

实验结果

研究问题

• RQ1 深度SNNs以SSL训练，是否能够在没有显式输入时间编码的情况下从事件流估计逐像素光流？
• RQ2 脉冲神经元自适应（ALIF、PLIF、XLIF）及代理梯度的选择如何影响在稀疏事件数据上的学习与密集回归的准确性？
• RQ3 将SSL损失重新表述以提升凸性并使用训练时的时间缓冲区，是否能在深度SNNs中有效学习光流？
• RQ4 在标准数据集上，递归SNN架构与递归人工神经网络在自监督事件基光流任务中的比较如何？

主要发现

• 提出的SSL管线使深度SNN在自监督事件基光流任务上取得了与最先进的ANN SSL方法相当的准确性。
• 初始化与代理梯度宽度对稀疏输入的学习有关键影响；不当设置可能阻碍学习或收敛。
• 突触前自适应机制（PLIF/XLIF）通常比后突触自适应（ALIF）在快速变化的事件数据上表现更好或相当，XLIF 提供鲁棒的梯度流。
• 带有ConvGRUs和脉冲层的SNN变体接近非递归的ANN，表明在此任务上完全神经形态、异步的流水线具有潜力。
• SNN中的显式递归对于缩小与ANN基线在密集回归任务（如从事件流估计光流）上的差距至关重要。
• 该研究证明在自监督设置下训练第一批深度SNN以解决真实世界、大规模的事件基光流问题的可行性。