[論文レビュー] A low-power end-to-end hybrid neuromorphic framework for surveillance applications

Andrés Ussa, Luca Della Vedova+7 more|arXiv (Cornell University)|Oct 22, 2019

Advanced Memory and Neural Computing参考文献 20被引用数 6

ひとこと要約

本論文は、IBM TrueNorth上でフレームベースの物体追跡とイベントベースの分類を組み合わせた、低消費電力（5W）のエンドツーエンドハイブリッド神経ミメチックフレームワークを提案する。イベントを集約して頑健な追跡を実現し、分類にはハードウェアにやさしいエネルギーエフェシェントなディープニューラルネットワーク（EEDN）パイプラインを採用することで、物体分類のトラック単位精度が90.2%に達し、メモリおよび計算効率において最先端の手法を上回る。

ABSTRACT

With the success of deep learning, object recognition systems that can be deployed for real-world applications are becoming commonplace. However, inference that needs to largely take place on the `edge' (not processed on servers), is a highly computational and memory intensive workload, making it intractable for low-power mobile nodes and remote security applications. To address this challenge, this paper proposes a low-power (5W) end-to-end neuromorphic framework for object tracking and classification using event-based cameras that possess desirable properties such as low power consumption (5-14 mW) and high dynamic range (120 dB). Nonetheless, unlike traditional approaches of using event-by-event processing, this work uses a mixed frame and event approach to get energy savings with high performance. Using a frame-based region proposal method based on the density of foreground events, a hardware-friendly object tracking is implemented using the apparent object velocity while tackling occlusion scenarios. For low-power classification of the tracked objects, the event camera is interfaced to IBM TrueNorth, which is time-multiplexed to tackle up to eight instances for a traffic monitoring application. The frame-based object track input is converted back to spikes for Truenorth classification via the energy efficient deep network (EEDN) pipeline. Using originally collected datasets, we train the TrueNorth model on the hardware track outputs, instead of using ground truth object locations as commonly done, and demonstrate the efficacy of our system to handle practical surveillance scenarios. Finally, we compare the proposed methodologies to state-of-the-art event-based systems for object tracking and classification, and demonstrate the use case of our neuromorphic approach for low-power applications without sacrificing on performance.

研究の動機と目的

• リアルタイムで低消費電力な物体追跡と分類を、遠隔地や移動型の監視システムに導入する課題に対処すること。
• 特に動的または低照度環境において、計算コストが高く電力消費が大きい従来のフレームベースカメラの限界を克服すること。
• イベントベースカメラの利点（低消費電力（5–14 mW）、広動態範囲（120 dB）、非同期イベント生成）を活かしつつ、高い性能を維持するハイブリッド神経ミメチックシステムを開発すること。
• 真のラベルではなくトレーサーの出力を用いてトレーニングすることで、IBM TrueNorthを用いたエンドツーエンド分類を可能にし、実用性を高めること。
• 最小限の消費電力で高い精度を達成するハードウェア最適化システムを実証し、交通監視やセキュリティ応用に適したエッジデプロイメントに適すること。

提案手法

• イベントベースカメラを用いて、明るさの変化が生じるたびに非同期でシーンの変化をキャプチャし、データの冗長性と消費電力を低減する。
• 到着したイベントを固定間隔のフレームに集約して、移動物体の空間的表現を生成し、前景イベント密度を用いたフレームベースの領域提案を実現する。
• 顕在的物体速度推定を用いたハードウェアにやさしいオブジェクトトレーサーを実装し、遮蔽時における追跡を維持する。領域提案はイベント密度マップから導出する。
• EEDNパイプラインを用いて、追跡された物体のフレーム表現をスパイクトレインに変換し、IBM TrueNorth上で効率的な分類を実現する。
• TrueNorthチップを時間多重して、最大8つのオブジェクトを同時に分類可能にし、事前処理ニューロンのスケーリングはオブジェクト数に線形に比例する。
• 手動アノテーションに依存しないよう、真のラベルではなくトレーサーの出力を用いてTrueNorthモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドフレーム・イベント処理アプローチは、神経ミメチック監視システムにおいて、高い追跡精度を維持しながら低消費電力を実現できるか？
• RQ2 分類モデルのトレーニングに真のラベルではなくトレーサーが出力する結果を用いることで、実環境での運用に与える性能への影響はいかほどか？
• RQ3 IBM TrueNorthをどれほど効率的に時間多重して、最小限のハードウェアオーバーヘッドで複数のオブジェクトをリアルタイムに分類できるか？
• RQ4 本手法は、最先端のイベントベースの追跡および分類手法と比較して、精度、メモリ使用量、計算効率の点でどの程度優れているか？
• RQ5 FPGAベースのハードウェア実装における有限精度算術が、トレーサー性能および分類精度に与える影響はいかほどか？

主な発見

• 人間のトラックを含めた場合、IoU閾値0.4で精度0.48、再現率0.52を達成。人間のトラックを除外した場合、精度は0.58、再現率は0.84に向上。
• 有限精度の影響により5%の精度低下が生じたものの、メモリ使用量が7倍少ない、計算量が3倍少ない、マルチオブジェクトEBMSトレーサー [Delbruck and Lang, 2013] を上回った。
• トレーサー出力を用いてトレーニングしたTrueNorthベースの分類は、トラック単位で90.2%の精度を達成。真のラベルでトレーニングしたDARTフレームワーク（95.4%）と比較して、実環境での実用性が明確に示された。
• 全体のシステム消費電力はわずか5Wであり、従来のGPUと比較して40倍、最先端のフレームベース埋め込みシステムと比較して4倍の電力削減を達成。
• イベント集約フレーム上での速度ベースの追跡を活用することで、遮蔽状況でも一貫したオブジェクト同一性を維持できる。
• 動画デモにより、トレーサーが真のラベルとわずかに先行または遅延する場合でも、システムが正しくオブジェクトを分類していることが確認され、追跡ドリフトに対する耐性が示された。