[論文レビュー] Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection

Seijoon Kim, Seongsik Park+2 more|arXiv (Cornell University)|Mar 12, 2019

Advanced Memory and Neural Computing参考文献 40被引用数 49

ひとこと要約

Spiking-YOLOはチャネル単位の正規化と不均衡閾値を持つ符号付きニューロンを導入し、深層SNNベースの物体検出を可能にします。VOCとCOCOでTiny YOLOにほぼ近い精度を達成しつつ、エネルギー消費を大幅に低減します。

ABSTRACT

Over the past decade, deep neural networks (DNNs) have demonstrated remarkable performance in a variety of applications. As we try to solve more advanced problems, increasing demands for computing and power resources has become inevitable. Spiking neural networks (SNNs) have attracted widespread interest as the third-generation of neural networks due to their event-driven and low-powered nature. SNNs, however, are difficult to train, mainly owing to their complex dynamics of neurons and non-differentiable spike operations. Furthermore, their applications have been limited to relatively simple tasks such as image classification. In this study, we investigate the performance degradation of SNNs in a more challenging regression problem (i.e., object detection). Through our in-depth analysis, we introduce two novel methods: channel-wise normalization and signed neuron with imbalanced threshold, both of which provide fast and accurate information transmission for deep SNNs. Consequently, we present a first spiked-based object detection model, called Spiking-YOLO. Our experiments show that Spiking-YOLO achieves remarkable results that are comparable (up to 98%) to those of Tiny YOLO on non-trivial datasets, PASCAL VOC and MS COCO. Furthermore, Spiking-YOLO on a neuromorphic chip consumes approximately 280 times less energy than Tiny YOLO and converges 2.3 to 4 times faster than previous SNN conversion methods.

研究の動機と目的

• SNNを活用して、画像分類を超える物体検出のエネルギー効率を動機づける。
• 回帰タスク（境界ボックス座標）に対する深層SNNの訓練と情報伝達の課題に対処する。
• 深層SNNで正確なスパイクベースの物体検出を実現する手法を開発し、エネルギー効率を評価する。

提案手法

• 深層SNNで過小活性化を防ぎ、発火率を改善するためのチャネル単位正規化を提案する。
• SNNでリーキーReLUのリーク項を忠実に実装するため、不均衡閾値を持つ符号付きニューロン（IBT）を導入する。
• TinyYOLOをベースネットワークとして用いたDNN-to-SNN変換アプローチを物体検出に適用する。
• SNNフレームワーク内で最大プーリングとバッチ正規化を実装する。
• デコード方式の評価：膜電位ベースのデコードとスパイクカウントベースのデコード。膜電位ベースがより高い精度を提供。
• NVIDIA V100 GPU上のTensorFlow Eagerシミュレーションを使用し、Tiny YOLOおよびニューロモルフィックハードウェアと比較する。

実験結果

リサーチクエスチョン

• RQ1 深層SNNを訓練して、非 trivialなデータセット（VOCとCOCO）でDNNと競合する精度の物体検出を実現できるか？
• RQ2 チャネル単位正規化とIBTを用いた符号付きニューロンは、回帰タスクにおける正規化とリーク-ReLUの実装問題を深層SNNで克服できるか？
• RQ3 Tiny YOLOと比較した場合、GPU上のSpiking-YOLOとニューロモルフィックハードウェアのエネルギー効率のトレードオフはどのようになるか？
• RQ4 スパイクベースの物体検出において、どの出力デコード方式がより高精度をもたらすか？

主な発見

• Spiking-YOLOは特定の構成下でVOCおよびCOCOデータセットでTiny YOLOの性能の最大98%に達する。
• チャネル単位正規化はチャネル間の発火率を大幅に改善し、収束を加速する（レイヤー正規化より高速）。
• 不均衡閾値を持つ符号付きニューロンはSNNにおけるリーキーReLUを効果的に実装し、検出性能にとって不可欠である。
• 膜電位ベースのデコードは精度と収束速度の点でスパイクカウントデコードを上回る。
• エネルギー面では、Spiking-YOLOは32-bit浮動小数点または整数MAC/ACモデルでTiny YOLOより2000倍以上省エネ、ニューロモルフィックTrueNorthハードウェアでは約280倍省エネである。