[論文レビュー] Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation

Youngeun Kim, Joshua Chough+1 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Memory and Neural Computing参考文献 48被引用数 4

ひとこと要約

本稿では、バッチ正規化時系列（BNTT）を用いた補助勾配バックプロパゲーションを用いて、スパikingニューラルネットワーク（SNN）を直接訓練する手法を提案する。この手法により、ANN-SNN変換よりも高い精度とエネルギー効率を達成し、静的画像およびイベントベースデータの両方において低遅延推論を実現する。静的データセットでは、2倍を超えるエネルギー効率の向上を示した。

ABSTRACT

Spiking Neural Networks (SNNs) have recently emerged as the low-power alternative to Artificial Neural Networks (ANNs) because of their sparse, asynchronous, and binary event-driven processing. Due to their energy efficiency, SNNs have a high possibility of being deployed for real-world, resource-constrained systems such as autonomous vehicles and drones. However, owing to their non-differentiable and complex neuronal dynamics, most previous SNN optimization methods have been limited to image recognition. In this paper, we explore the SNN applications beyond classification and present semantic segmentation networks configured with spiking neurons. Specifically, we first investigate two representative SNN optimization techniques for recognition tasks (i.e., ANN-SNN conversion and surrogate gradient learning) on semantic segmentation datasets. We observe that, when converted from ANNs, SNNs suffer from high latency and low performance due to the spatial variance of features. Therefore, we directly train networks with surrogate gradient learning, resulting in lower latency and higher performance than ANN-SNN conversion. Moreover, we redesign two fundamental ANN segmentation architectures (i.e., Fully Convolutional Networks and DeepLab) for the SNN domain. We conduct experiments on two public semantic segmentation benchmarks including the PASCAL VOC2012 dataset and the DDD17 event-based dataset. In addition to showing the feasibility of SNNs for semantic segmentation, we show that SNNs can be more robust and energy-efficient compared to their ANN counterparts in this domain.

研究の動機と目的

• スパikingニューラルネットワーク（SNN）を、従来の画像分類をはるかに超える分野であるセマンティックセグメンテーションに適用可能かどうかを検証すること。
• 空間的およびチャネルワイドな活性化ばらつきのため、セグメンテーションタスクにおいて高い遅延と性能劣化を引き起こすANN-SNN変換の限界を克服すること。
• ダイナミックビジョンセンサー（DVS）からのイベントベースデータと互換性を持つSNN固有のアーキテクチャ（Spiking-DeepLabおよびSpiking-FCN）を開発すること。
• 直接訓練されたSNNが、セマンティックセグメンテーションにおいて、ANNの対応物と比較してより高いエネルギー効率と頑健性を達成できることを示すこと。

提案手法

• 非微分可能なLIFニューロンを通過する勾配を補助勾配学習により近似し、区分的線形関数を用いて勾配を近似することで、非微分可能なLIFニューロンを介したバックプロパゲーションを可能にする。
• SNNのスクラッチからのエンドツーエンド学習を可能にするために、訓練の安定化を図るための時系列バッチ正規化（BNTT）を採用する。
• 標準的なANNセグメンテーションアーキテクチャ（完全畳み込みネットワーク（FCN）およびDeepLab）を、スパiking版（Spiking-FCNおよびSpiking-DeepLab）に再設計する。
• FLOPsをスパイクレートでスケーリングし、CMOSエネルギーモデルを用いてエネルギー効率を計算する。ANNのMAC演算は4.6 pJ、SNNのACは0.9 pJにまで低減される。
• ピクセル単位のセグメンテーションを最適化するため、学習中に空間的クロスエントロピー損失を適用する。
• 静的画像（PASCAL VOC2012）およびイベントストリーム（DDD17）の両データセットを用いて性能を評価し、頑健性および効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ANN-SNN変換に依存せずに、直接バックプロパゲーションを用いたSNNのセマンティックセグメンテーションへの有効な訓練が可能かどうか。
• RQ2 セグメンテーションタスクにおいて、直接訓練されたSNNとANN-SNN変換SNNの精度および推論遅延の違いは何か。
• RQ3 DVSカメラからのイベントベースデータ処理において、SNNはセマンティックセグメンテーションでどの程度エネルギー効率が向上するか。
• RQ4 スパキングセグメンテーションネットワークの各層におけるスパイクレートおよび時間的ダイナミクスはどのように変化するか。また、それらはエネルギー消費にどのように影響するか。

主な発見

• ANN-SNN変換は、高い空間的およびチャネルワイドな活性化ばらつきのため、セマンティックセグメンテーションタスクで妥当な性能を達成できず、収束に1,000ステップを超える時間がかかる。
• 補助勾配とBNTTを用いた直接学習により、PASCAL VOC2012およびDDD17の両データセットで最先端のSNN性能を達成し、はるかに少ないステップ数で収束する。
• 静的PASCAL VOC2012データセットにおいて、Spiking-FCNおよびSpiking-DeepLabはそれぞれANNの対応物と比較して2.37倍および2.75倍のエネルギー効率向上を達成した。
• イベントベースのDDD17データセットでは、スパイクレートが高いため、SNNはANNと比較してエネルギー効率が1.04倍および1.15倍にしか向上しなかったが、神経形態的データと互換性があることを示した。
• アップサンプリング層ではスキップ接続が前方伝搬中に追加のスパイクを注入するため、スパイクレートが最も高くなる。
• SNNのエネルギー消費は動的でデータ依存的であるのに対し、ANNは入力に関係なく固定エネルギーを消費する。