[論文レビュー] DashNet: A Hybrid Artificial and Spiking Neural Network for High-speed Object Tracking

Zheyu Yang, Yujie Wu+6 more|arXiv (Cornell University)|Sep 15, 2019

Video Surveillance and Tracking Methods参考文献 42被引用数 26

ひとこと要約

DashNetは、高精度なオブジェクト追跡を実現するハイブリッド人工神経ネットワーク（ANN）とスパikingニューラルネットワーク（SNN）フレームワークを提案する。このフレームワークは、同期的なフレームベースデータ（ANN）と非同期的なスパイクベースデータ（SNN）を統合して処理する。時間的補完フィルタ（TCF）とアテンションモジュールを導入することで、NFS-DAVISおよびPRED18データセットで最先端の追跡性能を達成し、神経形状ハードウェア上で2083 FPSという記録的な高速度を実現した。

ABSTRACT

Computer-science-oriented artificial neural networks (ANNs) have achieved tremendous success in a variety of scenarios via powerful feature extraction and high-precision data operations. It is well known, however, that ANNs usually suffer from expensive processing resources and costs. In contrast, neuroscience-oriented spiking neural networks (SNNs) are promising for energy-efficient information processing benefit from the event-driven spike activities, whereas, they are yet be evidenced to achieve impressive effectiveness on real complicated tasks. How to combine the advantage of these two model families is an open question of great interest. Two significant challenges need to be addressed: (1) lack of benchmark datasets including both ANN-oriented (frames) and SNN-oriented (spikes) signal resources; (2) the difficulty in jointly processing the synchronous activation from ANNs and event-driven spikes from SNNs. In this work, we proposed a hybrid paradigm, named as DashNet, to demonstrate the advantages of combining ANNs and SNNs in a single model. A simulator and benchmark dataset NFS-DAVIS is built, and a temporal complementary filter (TCF) and attention module are designed to address the two mentioned challenges, respectively. In this way, it is shown that DashNet achieves the record-breaking speed of 2083FPS on neuromorphic chips and the best tracking performance on NFS-DAVIS and PRED18 datasets. To the best of our knowledge, DashNet is the first framework that can integrate and process ANNs and SNNs in a hybrid paradigm, which provides a novel solution to achieve both effectiveness and efficiency for high-speed object tracking.

研究の動機と目的

• ハイブリッドモデルの評価に適した、フレームベース（ANN）およびスパイクベース（SNN）データを併せ持つベンチマークデータセットの不足を解消すること。
• 統一された追跡フレームワーク内で、同期的なANN出力と非同期的なSNNスパイクを効果的に統合処理する課題を克服すること。
• 従来の研究では未解決であった、SNNを視覚追跡タスクに直接学習可能にする仕組みを実現すること。
• ANNとSNNの長所を組み合わせることで、高い追跡精度と超低消費電力の両立を達成すること。
• 神経形状ハードウェア上でリアルタイム性能を実証し、オブジェクト追跡分野で新たな速度記録を樹立すること。

提案手法

• フレームベースデータセット（例：NFS）をイベントカメラシミュレーションとFCNベースの時間的補間を用いてスパイクベース信号に変換するハイブリッドデータシミュレータを開発し、NFS-DAVISベンチマークデータセットを構築した。
• 3段階のハイブリッドアーキテクチャを設計した：(1) APS（フレーム）データに対して別個にANNを学習し、DVS（スパイク）データに対してSNNを学習する。(2) 時間的補完フィルタ（TCF）を適用して、非同期的なSNN出力を同期的なANN出力と同期・統合する。
• TCF出力をフィードバックすることで、フレームベースの予測を精緻化するアテンションモジュールを統合し、特徴表現の向上と追跡精度の向上を実現した。
• 一般用途のコンピュータおよび神経形状チップ（Tianjic）の両方で、DashNetモデル全体を実装し、速度とエネルギー効率のハードウェアレベルでの評価を可能にした。
• SNNではバイナリスパイク通信とイベント駆動処理を採用し、計算量と帯域幅を最小限に抑えつつ、高い推論速度を維持した。
• SNNにおける乗加算演算を最小限に抑え、加算のみの計算を優遇することで、神経形状ハードウェアに最適化したモデル設計を実現した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドモデルは、ANNの高精度な特徴学習とSNNのエネルギー効率を効果的に統合し、リアルタイムオブジェクト追跡を実現できるか？
• RQ2 同期的なフレームデータと非同期的なスパイクデータを、単一の追跡フレームワーク内で意味的に統合できるか？
• RQ3 複雑な追跡タスクにおけるハイブリッドANN-SNNモデルの公平な評価に適したベンチマークデータセットは何か？
• RQ4 SNNを視覚追跡タスクに直接学習可能であり、ANNベースのトラッカーと同等の性能を達成できるか？
• RQ5 神経形状ハードウェア上でのハイブリッドANN-SNNトラッカーは、実現可能な速度とエネルギー効率はどの程度か？

主な発見

• DashNetはTianjic神経形状チップ上で2083.3 FPSという記録的な追跡速度を達成し、ANNベースのモデルを著しく上回った。
• NFS-DAVISデータセットでは、平均AUCスコアが38.0%を達成し、比較対象の最先端トラッカー（BACF: 35.6%、SRDCF: 32.8%、MDNet: 32.9%）をすべて上回った。
• PRED18データセットでは、平均AUCスコアが37.2%を達成し、BACF（31.4%）、DSST（30.2%）、MDNet（35.5%）を上回った。
• SNNオンリーブランチは127.9 FPS/Wのパワー効率を達成し、ANNオンリーブランチ（55.4 FPS/W）と比較して顕著なエネルギー効率の優位性を示した。
• DashNetは神経形状ハードウェア上で2083.3 FPSの速度と100.1 FPS/Wのパワー効率を両立させ、ANNとSNNの長所を効果的に統合したバランスの取れた性能を実現した。
• アテンションモジュールとTCFメカニズムは、非同期および同期信号間の動的フィードバックと時間的整合性を可能にし、追跡精度の向上に顕著な寄与を示した。