[論文レビュー] Temporal Pulses Driven Spiking Neural Network for Fast Object Recognition in Autonomous Driving

Wei Wang, Shibo Zhou+4 more|arXiv (Cornell University)|Jan 24, 2020

Advanced Memory and Neural Computing参考文献 21被引用数 11

ひとこと要約

本論文は、自律走行における高速で低遅延な物体認識を実現するため、生のLiDAR時間的パルスを直接処理するスパikingニューラルネットワーク（SNN）を提案する。イベント駆動型でスパースなスパイク計算と時間符号化を活用することで、KITTIデータセットで96.62％の精度を達成し、平均推論時間が2.02ms、消費電力が29.83 nJにとどまる。従来のDNNと比較して優れた速度とエネルギー効率を示している。

ABSTRACT

Accurate real-time object recognition from sensory data has long been a crucial and challenging task for autonomous driving. Even though deep neural networks (DNNs) have been successfully applied in this area, most existing methods still heavily rely on the pre-processing of the pulse signals derived from LiDAR sensors, and therefore introduce additional computational overhead and considerable latency. In this paper, we propose an approach to address the object recognition problem directly with raw temporal pulses utilizing the spiking neural network (SNN). Being evaluated on various datasets (including Sim LiDAR, KITTI and DVS-barrel) derived from LiDAR and dynamic vision sensor (DVS), our proposed method has shown comparable performance as the state-of-the-art methods, while achieving remarkable time efficiency. It highlights the SNN's great potentials in autonomous driving and related applications. To the best of our knowledge, this is the first attempt to use SNN to directly perform object recognition on raw temporal pulses.

研究の動機と目的

• 自律走行の物体認識におけるフレームベースのディープラーニング手法の高い遅延と計算オーバーヘッドを解消すること。
• LiDARセンサーの生の時間的パルスデータを用いて、リアルタイムでエネルギー効率の良い物体認識を実現すること。
• 非同期的でイベント駆動型のセンサデータを直接処理するスパikingニューラルネットワーク（SNN）の実現可能性と利点を検証すること。
• 従来の3次元ポイントクラウド生成および前処理ステップを回避する新しいSNNアーキテクチャの開発。
• 提案されたSNNを実世界およびシミュレーテッドデータセットで評価し、性能と効率を実証すること。

提案手法

• 提案モデルは、生のLiDAR時間的パルスをスパイクトレインに符号化するため、適応された時間符号化を用いた順方向SNNを採用。
• スパイク入力を用いて階層的特徴を抽出するため、スパイキング畳み込みニューラルネットワーク（SCNN）アーキテクチャを採用。
• スパイクの到着タイミングを主な情報キャリアとして使用し、固定フレームが不要なイベント駆動型処理を実現。
• 認識意思決定を最初の出力スパイクに基づいて行うことで、計算負荷と遅延を低減。
• 多様な道路状況およびノイズ条件でのLiDAR反射をシミュレートするため、新しいデータセット「Sim LiDAR」を構築。
• 神経形態回路からのエネルギーモデルとハードウェアマッピング仮定を用いて、電力および遅延効率を評価。

実験結果

リサーチクエスチョン

• RQ1 SNNは、中間の3次元ポイントクラウドを生成せずに、生のLiDAR時間的パルスを直接処理して物体認識が可能か？
• RQ2 実世界およびシミュレーテッドLiDARデータにおいて、SNNベースのアプローチは、従来のDNNと比較して精度、遅延、エネルギー効率の面でどのように異なるか？
• RQ3 意思決定までの入力スパイクのサブセットのみを処理することで、SNNが計算コストをどの程度低減できるか？
• RQ4 自律走行のシナリオにおいて、SNNは低消費電力でリアルタイム性能を達成できるか？
• RQ5 時間符号化とイベント駆動型スパイキングが、認識速度と精度に及ぼす影響は何か？

主な発見

• 提案されたSCNNはKITTIデータセットで96.62％の精度を達成し、標準CNN（88.22％）およびVGG-16やResNet-50のような深層モデルを上回った。
• 平均推論時間はわずか2.02msであり、フレームベース処理を要する従来のDNNと比較して顕著に高速であった。
• 認識ごとに平均4,512スパイクを処理し、入力シーケンス全体で合計5,900スパイクを生成した。これは低計算負荷を示している。
• 0.37 pJ/スパイクの神経形態回路モデルを用いた推定で、消費電力は29.83 nJにとどまり、GPUベースのDNNと比較して桁違いに低い。
• 認識時間の分布を分析したところ、KITTIの90％のサンプルが3ms未満で分類され、DVSデータでは1.5ms未塔で分類された。
• SNNモデルは極めて少ないスパイク処理で高い性能を達成しており、すべての入力スパイクが到着する前に意思決定が可能であることが確認された。