[论文解读] Embodied Neuromorphic Vision with Event-Driven Random Backpropagation

Jacques Kaiser, Alexander W. Friedrich+5 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Memory and Neural Computing参考文献 14被引用 8

一句话总结

本文提出事件驱动随机反向传播（eRBP）方法，用于在动态视觉传感器（DVS）事件流上训练脉冲神经网络，实现在机器人功能分类任务中达到人类水平的反应速度。通过将eRBP与隐蔽注意机制及微小扫视眼动相结合，系统在运动开始后100毫秒内完成抓握功能分类，性能与生物系统相当，同时实现低功耗与高速运行。

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Back-Propagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on the DvsGesture dataset with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects according to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method classifies affordances within 100ms after microsaccade onset, which is comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy consumption.

研究动机与目标

• 评估eRBP这一受生物启发的学习规则是否能有效从DVS的真实世界事件视觉数据中学习。
• 通过引入隐蔽注意机制，在不使用卷积层的情况下提升脉冲网络的平移不变性。
• 在具备实时感官反馈的闭环系统中，端到端演示基于eRBP的机器人抓握。
• 利用类脑硬件与脉冲神经网络，在视觉功能检测中实现人类水平的反应速度。

提出的方法

• eRBP通过固定随机反馈权重以及局部突触前与突触后活动，近似脉冲神经网络中的反向传播。
• 网络采用硬阈值漏电积分-发放神经元，其激活函数不可微，以模拟生物脉冲行为。
• 隐蔽注意机制动态重映射感受野相对于运动中心的位置，以极低计算成本实现平移不变性。
• 通过微小扫视眼动主动采样视觉输入，生成稀疏但信息丰富的事件流，支持在线学习。
• 网络采用监督学习方式训练，使用速率编码标签，并通过随机反馈权重将输出神经元的误差反馈至隐藏层。
• 系统与机械臂及机械手集成，检测到的功能触发实时抓握动作。

实验结果

研究问题

• RQ1 eRBP能否有效从真实世界的DVS事件流中学习视觉表征？
• RQ2 所提出的隐蔽注意机制是否能在不使用卷积层的情况下提升脉冲网络的性能与平移不变性？
• RQ3 eRBP能否在闭环机器人系统中实现实时、低延迟的功能分类？
• RQ4 该系统的反应时间与人类行为基准相比如何？
• RQ5 该网络在仅使用少量训练数据的情况下，对新物体位置与形状的泛化能力如何？

主要发现

• eRBP在DvsGesture数据集上达到最先进性能，且引入隐蔽注意机制后显著提升了分类准确率。
• 系统在微小扫视眼动开始后约100毫秒内完成视觉功能分类，与行为学研究中报告的人类反应时间一致。
• 尽管微小扫视期间输入稀疏，隐藏层仍表现出持续的放电活动，表明神经动力学中涌现出短期记忆。
• 网络对球体与笔的抓握类别分类具有高置信度，但对透明瓶子及背景区域的性能较低，原因在于事件数量过少。
• 即使每类功能仅提供一个样本，系统仍表现出对相同形状物体及轻微位置偏移的中等泛化能力。
• 当微小扫视期间背景发生改变或出现意外运动时，网络对背景的敏感性较高，因背景被学习为“不作为”类别的一部分。