[論文レビュー] Closing the Accuracy Gap in an Event-Based Visual Recognition Task

Bodo Rückauer, Nicolas Känzig+3 more|arXiv (Cornell University)|May 6, 2019

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

この論文は、ロボットにおける低消費電力・低遅延の視覚認識を実現するため、フレームベースの畳み込みニューラルネットワーク（CNN）をイベント駆動型スパイikingニューラルネットワーク（SNN）に変換する手法を提案する。L2正則化付きバイアスを用いた再訓練とDVS互換フレーム生成により、SNNは元のCNNの85.19%（88.25%対85.19%）の精度を達成した一方で、計算量を12倍削減し、イベントベースの視覚認識タスクにおける精度ギャップを埋めた。

ABSTRACT

Mobile and embedded applications require neural networks-based pattern recognition systems to perform well under a tight computational budget. In contrast to commonly used synchronous, frame-based vision systems and CNNs, asynchronous, spiking neural networks driven by event-based visual input respond with low latency to sparse, salient features in the input, leading to high efficiency at run-time. The discrete nature of the event-based data streams makes direct training of asynchronous neural networks challenging. This paper studies asynchronous spiking neural networks, obtained by conversion from a conventional CNN trained on frame-based data. As an example, we consider a CNN trained to steer a robot to follow a moving target. We identify possible pitfalls of the conversion and demonstrate how the proposed solutions bring the classification accuracy of the asynchronous network to only 3\% below the performance of the original synchronous CNN, while requiring 12x fewer computations. While being applied to a simple task, this work is an important step towards low-power, fast, and embedded neural networks-based vision solutions for robotic applications.

研究の動機と目的

• ロボット視覚認識タスクにおけるフレームベースCNNとイベントベースSNNの間の精度ギャップを解消すること。
• ダイナミックビジョンセンサー（DVS）からの非同期イベントストリームを用いた効率的で低消費電力の推論を可能にすること。
• 同期的CNNから非同期SNNへの変換における性能劣化の主な要因を特定・軽減すること。
• SNNが実際のDVSデータ上で、顕著に低い計算コストでCNNにほぼ匹敵する性能を達成できることを実証すること。

提案手法

• 極端な重みを回避し、SNNへの変換忠実度を向上させるために、L2正則化付きバイアスを用いた事前学習CNNの再訓練。
• 実際のDVSテストデータに適用された同じ時間ボーリング戦略を用いてトレーニングフレームを生成し、ドメインシフトを最小限に抑える。
• 時間符号化を用いて、CNNの活性化をスパイクトレインにマッピングすることで、訓練済みCNNをSNNに変換。
• アナログフレーム、ポissonスパイクトレイン、実際のDVSイベントストリームの3種類の入力タイプでSNNを評価。
• イベントに応じて非同期に処理するスパイキングニューラルネットワーク推論エンジンを用い、スパarsなイベント駆動型計算を実現。
• 計算コストを同じテストセットにおける演算数（MOps）と分類精度で測定。

実験結果

リサーチクエスチョン

• RQ1 実際のDVSイベントストリームでテストされたフレームベースCNNとその変換SNNの間の精度ギャップの原因は何か？
• RQ2 SNN変換プロセスにおいて、トレーニングデータとテストデータの分布差をどのように最小化できるか？
• RQ3 トレーニング段階でのL2正則化が、非同期イベント入力におけるSNN性能にどの程度向上効果をもたらすか？
• RQ4 SNNは、実際のイベントベースデータ上で、計算コストを桁違いに削減しつつも、CNNにほぼ匹敵する精度を達成できるか？

主な発見

• L2正則化付きバイアスで再訓練されたCNNから変換されたSNNは、実際のDVSイベントストリームで85.19%の分類精度を達成し、元のCNN（88.25%）と比べて3%の差にとどまった。
• SNNの計算コストはたったの0.66百万演算（MOps）で、元のCNNの7.85 MOpsと比べ12倍の削減が達成された。
• トレーニング段階でDVS互換フレーム生成を用いることで、トレーニングとテストデータ間の分布シフトが著しく低減され、SNNのロバスト性が向上した。
• L2正則化は、極端な重みとバイアスの影響を効果的に緩和し、非同期入力におけるSNN性能の劣化を抑制した。
• 残りの3%の精度ギャップは、主に合成データやフレームベースのトレーニングデータに存在しない、実際のDVSデータに内在する時間的構造に起因している。
• アナログ入力フレームではSNNが88.12%の精度を達成し、計算コストは1.15 MOpsにとどまり、元のCNNと比べ7倍の削減が達成された。