[論文レビュー] A Fully Spiking Hybrid Neural Network for Energy-Efficient Object Detection

Biswadeep Chakraborty, Xueyuan She+1 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Memory and Neural Computing参考文献 67被引用数 49

ひとこと要約

本論文は、スパイク時間依存可塑性（STDP）の非教師あり学習とバックプロパゲーション（STBP）の教師あり学習を統合したスパイクニューラルネットワーク（SNN）アーキテクチャに、完全スパイク型ハイブリッドニューラルネットワーク（FSHNN）を提案し、エネルギー効率の高い物体検出を実現する。FSHNNはMSCOCOで42.6%のmAPを達成し、ノイズが多い環境や限られたデータ下でもDNNベースのRetinaNet やスパイク型YOLOを上回り、モンテカルロドロップアウトを用いた不確実性推定により、より低い不確実性と優れた一般化性能を示した。

ABSTRACT

This paper proposes a Fully Spiking Hybrid Neural Network (FSHNN) for energy-efficient and robust object detection in resource-constrained platforms. The network architecture is based on Convolutional SNN using leaky-integrate-fire neuron models. The model combines unsupervised Spike Time-Dependent Plasticity (STDP) learning with back-propagation (STBP) learning methods and also uses Monte Carlo Dropout to get an estimate of the uncertainty error. FSHNN provides better accuracy compared to DNN based object detectors while being 150X energy-efficient. It also outperforms these object detectors, when subjected to noisy input data and less labeled training data with a lower uncertainty error.

研究の動機と目的

• ドローンやエッジロボットなどのリソース制約のあるプラットフォームで、エネルギー効率の高い推論を可能にする完全スパイク型ニューラルネットワークを、物体検出に用いること。
• 非教師ありSTDP学習と教師ありバックプロパゲーションを統合することで、低データ量およびノイズの多い入力環境下での一般化性能と頑健性を向上させること。
• モンテカルロドロップアウトを用いてスパイク型物体検出器における不確実性を定量化し、真陽性と偽陽性の区別をより良くすること。
• SNNにおけるハイブリッド学習が、DNNと同等またはそれ以上の性能を達成しつつ、顕著にエネルギー効率を向上させることを実証すること。

提案手法

• FSHNNは、低レベル特徴の学習に非教師ありSTDP学習で事前学習されたスパイク畳み込み層を備えた、RetinaNetベースのバックボーンを採用している。
• ハイブリッドトレーニング戦略として、初期特徴学習にSTDPを、エンドツーエンドのファインチューニングにバックプロパゲーションを組み合わせ、スパイクダイナミクスを保持している。
• 最終的なDNNを完全スパイク型ネットワークに変換するために、DNNからSNNへの変換に加え、しきい値のバランス調整を実施し、STDPで学習済みの層は固定している。
• モンテカルロドロップアウトを変更して、FSHNNにおける予測不確実性推定を実装し、不確実性を考慮した推論を可能にしている。
• 入力表現にはレートベース符号化を用い、アナログ活性化を300ステップにわたるスパイクトレインの発火レートで近似している。
• エネルギー効率はFLOPSとハードウェア固有のMAC/ACエネルギー消費量を用いて推定され、SNNのエネルギー消費量は時間ステップ（T=300）に比例してスケーリングされている。

実験結果

リサーチクエスチョン

• RQ1 STDPとバックプロパゲーションを統合したハイブリッドスパイクネットワークは、標準的なDNNベースの物体検出器よりも高い精度を達成できるか？
• RQ2 STDP学習の統合により、ノイズの多い入力や限られたラベル付きデータ下でも一般化性能と頑健性が向上するか？
• RQ3 モンテカルロドロップアウトによる不確実性推定は、スパイク型物体検出器に効果的に適用可能で、信頼性の向上に寄与するか？
• RQ4 完全スパイク型アーキテクチャは、DNNと比較して、物体検出の分野でどれほどエネルギー消費を削減できるか？

主な発見

• FSHNNはMSCOCOデータセットで42.6%の平均平均精度（mAP）を達成し、標準的なRetinaNetの38.8% mAPを上回った。
• 6つのSTDP層を備えたFSHNNは、より効率的なアーキテクチャを採用しているにもかかわらず、26.24% mAPを報告するスパイク型YOLOを上回った。
• ノイズの多い入力条件下で、モンテカルロドロップアウトによる測定結果から、FSHNNはRetinaNetと比較して不確実性を20–30%低減した。
• FSHNNは、限られたラベル付きデータで学習させた場合でも、高い性能を維持する優れた一般化性能を示したのに対し、標準的なDNNはそのような条件下で性能を発揮しなかった。
• エネルギー効率分析の結果、AC演算と時間ステップの削減（T=300）を考慮した理論的エネルギー効率（EE）は、DNNに対して147.54倍の向上が得られた。
• アブレーションスタディの結果、STDPとバックプロパゲーションの組み合わせ（FSHNN）が、COCO-source-testで最高のmAP（0.426）とAR@100（56.2）を達成し、単独のSTDPまたはバックプロパゲーションを用いたモデルを上回った。