[論文レビュー] ATIS + SpiNNaker: a Fully Event-based Visual Tracking Demonstration

Arren Glover, Alan B. Stokes+2 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Memory and Neural Computing参考文献 2被引用数 4

ひとこと要約

本論文は、ATISイベントカメラとSpiNNaker神経モルフィックハードウェアを用いた完全なイベントベースの視覚追跡システムを提示する。非同期パーティクルフィルタアルゴリズムをSpiNNakerのコア上で並列に実行することで、1000 Hzを超えるリアルタイムの追跡を実現した。数百個のパーティクルを用いても、運動に起因するノイズに対して高い耐性を示し、並列処理により低遅延オーバーヘッドでスケーラブルであることを示した。

ABSTRACT

The Asynchronous Time-based Image Sensor (ATIS) and the Spiking Neural Network Architecture (SpiNNaker) are both neuromorphic technologies that "unconventionally" use binary spikes to represent information. The ATIS produces spikes to represent the change in light falling on the sensor, and the SpiNNaker is a massively parallel computing platform that asynchronously sends spikes between cores for processing. In this demonstration we show these two hardware used together to perform a visual tracking task. We aim to show the hardware and software architecture that integrates the ATIS and SpiNNaker together in a robot middle-ware that makes processing agnostic to the platform (CPU or SpiNNaker). We also aim to describe the algorithm, why it is suitable for the "unconventional" sensor and processing platform including the advantages as well as challenges faced.

研究の動機と目的

• ATISイベントベースのカメラとSpiNNaker神経モルフィックプロセッサを統合し、プラットフォームに依存しない処理を実現するロボット用ミドルウェアを構築すること。
• 非同期イベントストリームと並列スパイク計算を用いたリアルタイムの視覚追跡を実証すること。
• 非同期更新と連続的な運動モデリングに適応させたパーティクルフィルタがイベントベースビジョンに適していることを検証すること。
• 従来のCPU実装と比較して、神経モルフィックハードウェア上でのシステムのスケーラビリティとパフォーマンスを評価すること。

提案手法

• システムはATISセンサを用い、フレームベースのサンプリングを避けるために、光の強度変化を表す非同期バイナリスパイクを生成する。
• パーティクルフィルタはSpiNNakerプラットフォーム上で実装され、各パーティクルの状態（位置、サイズ）と重みは、イベントストリームの尤度に基づいて更新される。
• イベントが到着するたびにイベント駆動型のフィルタ更新がリアルタイムで行われ、高運動状態では更新頻度が向上する。
• 尤度推定は、時間的イベント順序に基づき、未知の時間窓上でマルコフ過程を仮定して段階的に計算される。
• 一定位置の運動モデルが提案され、イベントカメラの連続的な空間時間分解能のおかげで、フレームジャンプアーチファクトを回避できる。
• SpiNNakerコア間の通信はネットワークアーキテクチャによって管理される：ROIフィルタがイベントを並列処理し、パーティクルノードがコア間で状態と重み情報を同期する。

実験結果

リサーチクエスチョン

• RQ1 ATISカメラからの非同期的で連続的なイベントストリームを処理するために、パーティクルフィルタを効果的に適応させることは可能か？
• RQ2 SpiNNaker上で並列実行することで、従来のCPUベースの実装と比較して、スケーラビリティと更新レートはどのように向上するか？
• RQ3 神経モルフィックハードウェアを用いた完全なイベントベースの追跡パイプラインのパフォーマンスと遅延特性はどのようなものか？
• RQ4 追跡中に背景の雑音や自己運動に起因するノイズに対して、システムはどの程度耐性を示すか？
• RQ5 SpiNNaker上で通信オーバーヘッドを最小限に抑えながら、数百個のパーティクルにスケーリングしても、パーティクルフィルタは高い正確性を維持できるか？

主な発見

• 1000 Hzを超える更新レートを、数百個のパーティクルを用いても達成し、高い計算効率を示した。
• 必要に応じて2000 Hzを超える更新周波数を達成したため、急激な運動に対しても優れた応答性を示した。
• イベントベースの尤度モデルのおかげで、ロボットの自己運動中に生じる背景の雑音による誤検出に対しても、システムは耐性を示した。
• パーティクル間の通信遅延は1パーティクルあたり4.6 μs未満であり、CPUベースの実装と比較して顕著に低い計算スケーリングを示した。
• 240個のROIフィルターバーテックスをインスタンス化した後、1枚の48チップSpiNNakerボード上で500個を超えるパーティクルにスケーリング可能であり、パフォーマンス劣化は最小限に抑えられた。
• 主なパフォーマンスボトルネックは、すべてのパーティクルが互いに待機する必要がある同期処理であった。これは、完全に独立したフォワードネットワークとは異なり、すべてのパーティクルが他を待たなければならないためである。