[論文レビュー] A Spike Learning System for Event-driven Object Recognition

Shibo Zhou, Wei Wang+2 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Memory and Neural Computing参考文献 40被引用数 8

ひとこと要約

本論文は、LiDARおよびDVSセンサーを用いたイベント駆動型オブジェクト認識を目的とした、スパikingニューラルネットワーク（SNN）ベースの学習システムを提案する。イベントの到着時刻とデータを直接スパイク時刻にマッピングすることで、固定の蓄積ウィンドウが不要な非同期的でリアルタイム処理が可能となり、KITTIデータセットにおいて、認識遅延を56.3％から91.7％まで短縮し、最先端の精度を達成した。

ABSTRACT

Event-driven sensors such as LiDAR and dynamic vision sensor (DVS) have found increased attention in high-resolution and high-speed applications. A lot of work has been conducted to enhance recognition accuracy. However, the essential topic of recognition delay or time efficiency is largely under-explored. In this paper, we present a spiking learning system that uses the spiking neural network (SNN) with a novel temporal coding for accurate and fast object recognition. The proposed temporal coding scheme maps each event's arrival time and data into SNN spike time so that asynchronously-arrived events are processed immediately without delay. The scheme is integrated nicely with the SNN's asynchronous processing capability to enhance time efficiency. A key advantage over existing systems is that the event accumulation time for each recognition task is determined automatically by the system rather than pre-set by the user. The system can finish recognition early without waiting for all the input events. Extensive experiments were conducted over a list of 7 LiDAR and DVS datasets. The results demonstrated that the proposed system had state-of-the-art recognition accuracy while achieving remarkable time efficiency. Recognition delay was shown to reduce by 56.3% to 91.7% in various experiment settings over the popular KITTI dataset.

研究の動機と目的

• 固定された事前設定されたイベント蓄積時間に依存する既存のイベント駆動型オブジェクト認識システムにおける時間的効率の欠如という重要な課題に取り組む。
• イベント駆動型センサー（LiDAR、DVS）およびSNNの固有の非同期的性質を活用し、完全なイベントフレームを待たずにリアルタイムで低遅延の認識を可能にする。
• 手動で設定されるのではなく、システム自身が動的に決定する自己最適化型のイベント蓄積時間を導入することで、応答性と効率性を向上させる。
• 認識遅延を精度と並んで主な評価指標として採用し、動的で高速な応用分野におけるパフォーマンスの新しいベンチマークを確立する。
• 非同期のセンサーエンティティをSNNのスパイク時刻に正確にマッピングする時間的符号化方式を提案し、即時の処理と最小限の遅延を実現する。

提案手法

• 各イベントの到着時刻とデータをSNNニューロンのスパイク時刻に符号化する新しい時間的符号化方式を設計し、時間的に正確な処理を可能にする。
• 時間的符号化をSNNのネイティブな非同期処理能力と統合することで、同期遅延がなく、到着順に処理されるイベント処理を実現する。
• 最終出力層のスパイクタイミングを最小化する損失関数を用い、各認識タスクに最適なイベント蓄積時間を暗黙的に最適化する。
• 時間による誤差逆伝搬（BPTT）と補助勾配を用いてSNNを学習させ、時間的表現のエンドツーエンド学習を可能にする。
• KITTI、DVS-CIFAR10、N-MNISTなど、LiDARおよびDVSの複数のデータセットに本システムを適用し、イベント収集に固定時間ウィンドウを設けない。
• ネットワークが十分な信頼度に達した時点に基づき、各サンプルの認識完了時刻を動的に決定することで、早期推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間的符号化を用いたスパikingニューラルネットワークは、固定蓄積ウィンドウに依存せず、高精度かつ低遅延なイベント駆動型オブジェクト認識を達成できるか？
• RQ2 本システムの自己最適化型イベント蓄積時間は、固定時間のベースラインと比較して、認識遅延と精度の点でどのように異なるか？
• RQ3 自動運転のような高速応用分野において、本システムは運動ブラーと遅延が深刻な問題となる状況で、どの程度認識遅延を短縮できるか？
• RQ4 提案された時間的符号化方式は、疎で非同期的なイベントの即時のリアルタイム処理を可能にしつつ、認識精度をどのように保持できるか？
• RQ5 本システムは、イベントレートやスパarsityが異なる多様なイベント駆動型データセットにおいて、競争力のあるパフォーマンスを維持できるか？

主な発見

• 提案されたシステムは、固定ウィンドウベースラインと比較して、KITTIデータセットの複数の設定において、認識遅延を56.3％から91.7％まで短縮した。
• N-Sydneyデータセットでは平均で62％のイベントしか必要とせず、DVSデータセットでは50％未満で推論が完了した。これは、効率的なイベント利用を示している。
• 90％のサンプルについて、1〜3 msの間に推論が完了した。これは、優れた時間的効率性と低遅延性を示している。
• 全7つの評価データセットにおいて、最先端の精度を達成した。特にDVS-Barrelでは99.5％、Hand-Gestureでは99.9％の精度を記録し、従来のSNNおよびCNN手法を上回った。
• N-MNISTではたった22,000パラメータで99.15％の精度を達成した。これは、高い効率性と低計算コストを示している。
• 学習プロセスは、出力スパイク時刻を最小化することで、効果的なイベント蓄積時間を自動的に最適化し、手動によるハイパーパramータチューニングの必要性を排除した。