[论文解读] ATIS + SpiNNaker: a Fully Event-based Visual Tracking Demonstration

Arren Glover, Alan B. Stokes+2 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Memory and Neural Computing参考文献 2被引用 4

一句话总结

本论文提出了一种基于ATIS事件相机和SpiNNaker类脑硬件的全事件视觉追踪系统，利用异步粒子滤波算法在SpiNNaker核心上并行运行。该系统在使用数百个粒子的情况下实现了超过1 kHz的实时追踪，展现出对运动引起的噪声具有鲁棒性，并通过并行处理实现了低延迟开销的可扩展性。

ABSTRACT

The Asynchronous Time-based Image Sensor (ATIS) and the Spiking Neural Network Architecture (SpiNNaker) are both neuromorphic technologies that "unconventionally" use binary spikes to represent information. The ATIS produces spikes to represent the change in light falling on the sensor, and the SpiNNaker is a massively parallel computing platform that asynchronously sends spikes between cores for processing. In this demonstration we show these two hardware used together to perform a visual tracking task. We aim to show the hardware and software architecture that integrates the ATIS and SpiNNaker together in a robot middle-ware that makes processing agnostic to the platform (CPU or SpiNNaker). We also aim to describe the algorithm, why it is suitable for the "unconventional" sensor and processing platform including the advantages as well as challenges faced.

研究动机与目标

• 将ATIS事件相机与SpiNNaker类脑处理器集成到统一的机器人中间件中，实现平台无关的处理。
• 通过异步事件流和并行脉冲计算，展示实时视觉追踪。
• 通过适配异步更新和连续运动建模，验证粒子滤波在事件视觉中的适用性。
• 与传统CPU实现相比，评估系统在类脑硬件上的可扩展性和性能表现。

提出的方法

• 系统使用ATIS传感器生成表示光强变化的异步二值脉冲，避免帧采样。
• 在SpiNNaker平台上实现粒子滤波，其中每个粒子的状态（位置、大小）和权重基于事件流似然性进行更新。
• 事件驱动的滤波更新在事件到达时实时发生，高运动状态下更新频率提高。
• 似然估计基于时间顺序事件序列进行增量计算，假设在未知时间窗口上存在马尔可夫过程。
• 提出恒定位置运动模型，得益于事件相机的连续时空分辨率，避免帧跳伪影。
• 通过网络化架构管理SpiNNaker核心间的通信：ROI过滤器并行处理事件，粒子节点在核心间同步状态和权重信息。

实验结果

研究问题

• RQ1 粒子滤波能否有效适配ATIS相机产生的异步、连续事件流？
• RQ2 与传统CPU实现相比，SpiNNaker上的并行执行如何提升可扩展性和更新频率？
• RQ3 使用类脑硬件的全事件追踪流水线的性能和延迟特性如何？
• RQ4 在追踪过程中，系统对背景杂波和自身运动引起的噪声在多大程度上具有鲁棒性？
• RQ5 粒子滤波能否在SpiNNaker上实现高精度追踪，同时将粒子数量扩展至数百个且通信开销极低？

主要发现

• 系统实现了超过1 kHz的更新频率，即使在使用数百个粒子的情况下仍保持实时追踪，展现出极高的计算效率。
• 在需要时，粒子滤波的更新频率超过2 kHz，表明对快速运动具有极强的响应能力。
• 由于事件基似然模型的存在，系统在机器人自运动过程中对背景杂波引起的误检保持了鲁棒性。
• 粒子间的通信延迟低于每粒子4.6 μs，显著低于CPU实现中的计算扩展开销。
• 在实例化240个ROI过滤器顶点后，单个48芯片SpiNNaker板上可将粒子数量扩展至500多个，性能下降可忽略不计。
• 主要性能瓶颈在于粒子间的同步，因为所有粒子必须相互等待才能继续，与完全独立的前馈网络不同。