[論文レビュー] Object Detection based on LIDAR Temporal Pulses using Spiking Neural Networks

Shibo Zhou, Wei Wang|arXiv (Cornell University)|Oct 29, 2018

Advanced Memory and Neural Computing参考文献 23被引用数 7

ひとこと要約

本論文は、従来の信号前処理を回避する、生のLIDAR時間的パルスを直接処理するSpiking Neural Network (SNN)フレームワークを提案する。この手法は10%のノイズ下で99.83%の精度を達成し、平均認識遅延はわずか265ナノ秒にとどまる。これは、ネイティブLIDAR信号のイベントベース処理を用いた低遅延・高エネルギー効率な自律走行システムにおけるSNNの可能性を示している。

ABSTRACT

Neural networks has been successfully used in the processing of Lidar data, especially in the scenario of autonomous driving. However, existing methods heavily rely on pre-processing of the pulse signals derived from Lidar sensors and therefore result in high computational overhead and considerable latency. In this paper, we proposed an approach utilizing Spiking Neural Network (SNN) to address the object recognition problem directly with raw temporal pulses. To help with the evaluation and benchmarking, a comprehensive temporal pulses data-set was created to simulate Lidar reflection in different road scenarios. Being tested with regard to recognition accuracy and time efficiency under different noise conditions, our proposed method shows remarkable performance with the inference accuracy up to 99.83% (with 10% noise) and the average recognition delay as low as 265 ns. It highlights the potential of SNN in autonomous driving and some related applications. In particular, to our best knowledge, this is the first attempt to use SNN to directly perform object recognition on raw Lidar temporal pulses.

研究の動機と目的

• パルス信号の前処理に依存する既存のLIDARベースの物体検出手法における高い計算負荷と遅延を解消すること。
• Spiking Neural Networks (SNNs)が中間のデジタル変換を経ずに、LIDARセンサーからの生の時間的パルスを直接分類可能かどうかを検討すること。
• ベンチマーク用に、さまざまな道路状況とノイズレベル下でのLIDAR時間的パルスの包括的で現実的なデータセットを構築すること。
• SNNベースの物体検出の性能を、精度、推論遅延、ノイズに対するロバストネスの観点から評価すること。
• 自律走行アプリケーションにおける超低遅延・高エネルギー効率な物体認識の可能性をSNNがどのように実現できるかを示すこと。

提案手法

• 3層の完全結合型フィードフォワードSNNを採用：入力ニューロン256個、隠れ層400ニューロン、出力層30ニューロン（30種類の物体カテゴリに対応）。
• 時間コードが採用されており、LIDARセンサーからのスパイクのタイミングが深度と物体特徴を直接表現する。最大遅延は1 µsに制限されている。
• 多様な道路シナリオとノイズ条件下でのLIDAR反射をシミュレートする目的で、3,000件のトレーニングサンプルおよび600件のテストサンプルから成るカスタムデータセットを生成した。
• 学習率0.01、バッチサイズ60、L2正則化、最大100エポックを用いた確率的勾配降下法（SGD）でSNNを学習した。
• ネットワークはイベント駆動かつ非同期的に入力パルスを処理し、スパイクの到着に即座に対応することで、低遅延推論を実現した。
• 認識精度、平均認識遅延、スパイク数の分布、ノイズ増加下でのロバストネスに基づいて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 Spiking Neural Networks (SNNs)は、前処理を経ずに生のLIDAR時間的パルスから直接物体検出を効果的に行えるか？
• RQ2 ノイズレベルが変化する現実世界に近いLIDARパルス信号を処理するSNNベースのシステムの認識精度と推論遅延はどの程度か？
• RQ3 ノイズの導入が、SNNモデルの収束速度および最終的な精度にどのように影響を与えるか？
• RQ4 従来のディープラーニングパイプラインと比較して、SNNはLIDARデータ処理において計算複雑性と遅延をどの程度低減できるか？
• RQ5 SNNモデルが許容可能な検出精度を維持できる最大のノイズ範囲はどの程度か？

主な発見

• SNNベースのシステムは、10%のノイズ範囲（0–0.10）でテストされた場合、平均推論精度99.83%を達成し、高いロバストネスを示した。
• ノイズが増加するにつれて精度は徐々に低下：0–0.20で96.16%、0–0.33で82.66%、0–0.50で68.16%。これは最大耐ノイズ範囲が0–0.50であることを示している。
• 最初のパルス到着後、平均認識遅延はわずか265ナノ秒にとどまり、超低遅延性能が顕著に現れた。
• 80%以上の認識イベントが0.23–0.30 µsの間に発生し、大多数のパターンが0.3 µs未満で認識された。600パターン中495～517パターンがこの範囲に含まれた。
• 1パターンあたり最大180スパイクで十分であり、従来のネットワークが完全な入力表現に256スパイクを必要とするのと比べ、著しく少ない。
• ネットワークは急速に収束し、ほとんどの曲線が32エポック目で安定化した。特に0–0.10のノイズ範囲で最も速い収束が観察され（14–20エポック）、収束が速かった。