[论文解读] Embodied Event-Driven Random Backpropagation.

Jacques Kaiser, Alexander W. Friedrich+5 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Memory and Neural Computing参考文献 24被引用 4

一句话总结

本文提出事件驱动随机反向传播（eRBP），一种脉冲神经网络学习规则，可从动态视觉传感器（DVS）事件流中实现高效、低功耗的表征学习。通过将eRBP与隐蔽注意力机制结合以实现平移不变性，并在具备微跳动眼动的机器人系统中部署该方法，系统在100毫秒内实现人类水平的可及性分类，展示了自主机器人中实时、低功耗视觉处理的能力。

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Backpropagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on DvsGesture with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects with respect to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method quickly classifies affordances within 100ms after microsaccade onset, comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy budget.

研究动机与目标

• 评估事件驱动反向传播规则是否能有效从动态视觉传感器（DVS）捕获的真实世界视觉感官数据中学习表征。
• 通过引入隐蔽注意力机制增强eRBP，实现在不依赖昂贵卷积运算的前提下实现平移不变性。
• 在具备主动采样视觉输入的微跳动眼动的机器人系统中验证该方法。
• 证明系统在真实机器人任务中实现快速、人类水平的分类速度（微跳动后100毫秒内）

提出的方法

• 本文采用事件驱动随机反向传播（eRBP），一种突触可塑性规则，通过稀疏事件信号近似脉冲神经网络中的反向传播。
• 引入隐蔽注意力机制，将视觉感受野相对于运动中心进行重映射，以极低计算开销实现平移不变性。
• 将该方法集成到搭载DVS的机器人系统中，该系统通过微跳动眼动主动采样视觉输入。
• 基于脉冲的通信与事件驱动学习使动态视觉流得以实现低能耗、高速处理。
• 网络在物体交互任务生成的事件流基础上进行视觉可及性分类的训练。
• 在DvsGesture基准数据集和真实机器人抓取设置下，在实时约束条件下评估性能。

实验结果

研究问题

• RQ1 在机器人场景中，eRBP能否有效从真实世界的DVS事件流中学习视觉表征？
• RQ2 与标准卷积方法相比，所提出的隐蔽注意力机制在事件学习中如何提升平移不变性？
• RQ3 当结合通过微跳动眼动实现的主动感知时，eRBP能否实现人类水平的视觉可及性分类速度？
• RQ4 eRBP在实时机器人感知任务中的计算与能效效率如何？

主要发现

• eRBP在结合隐蔽注意力机制后，在DvsGesture基准上达到最先进性能。
• 隐蔽注意力机制以显著低于传统卷积层的计算成本实现了平移不变性。
• 系统在微跳动启动后100毫秒内完成视觉可及性分类，与人类行为研究中报告的反应时间一致。
• eRBP与机器人平台的集成实现了使用事件感知输入的实时、低功耗视觉处理。
• 该方法在通过受控微跳动实现视觉输入采样的主动感知场景中表现出鲁棒性能。
• 结果表明，eRBP结合神经形态传感与注意力机制，可在自主机器人系统中实现高速、低功耗运行。