[論文レビュー] Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction

Ali Samadzadeh, Fatemeh Sadat Tabatabaei Far+3 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Memory and Neural Computing被引用数 11

ひとこと要約

本論文は、時間的特徴抽出に効果的であるように改良されたバックプロパゲーション・スル・タイム（BPTT）手法を用いた、新しい深層スパikingニューラルネットワーク（STS-ResNet）を提案する。この手法により、イベントベースデータにおける空間的・時間的特徴抽出が可能となり、NMNISTでは99.6%、DVS-CIFAR10では69.2%のSOTA性能を達成している。同時に、バイナリスパイトベースの計算とリーダル接続により、計算コストとメモリ使用量を低く抑えている。

ABSTRACT

Spiking neural networks (SNNs) can be used in low-power and embedded systems (such as emerging neuromorphic chips) due to their event-based nature. Also, they have the advantage of low computation cost in contrast to conventional artificial neural networks (ANNs), while preserving ANN's properties. However, temporal coding in layers of convolutional spiking neural networks and other types of SNNs has yet to be studied. In this paper, we provide insight into spatio-temporal feature extraction of convolutional SNNs in experiments designed to exploit this property. The shallow convolutional SNN outperforms state-of-the-art spatio-temporal feature extractor methods such as C3D, ConvLstm, and similar networks. Furthermore, we present a new deep spiking architecture to tackle real-world problems (in particular classification tasks) which achieved superior performance compared to other SNN methods on NMNIST (99.6%), DVS-CIFAR10 (69.2%) and DVS-Gesture (96.7%) and ANN methods on UCF-101 (42.1%) and HMDB-51 (21.5%) datasets. It is also worth noting that the training process is implemented based on variation of spatio-temporal backpropagation explained in the paper.

研究の動機と目的

• 従来の人工ニューラルネットワーク（ANNs）を超えた、畳み込みスパキングニューラルネットワーク（SNNs）の空間的・時間的特徴抽出能力を調査すること。
• バックプロパゲーション・スル・タイム（BPTT）手法における勾配消失問題により、深層SNNの学習が困難になるという課題に対処すること。
• 深層SNNアーキテクチャが、現実世界のイベントベースデータセットにおいて、既存のSNNおよびANNモデルを上回る性能を発揮できる学習手法を開発すること。
• SNNが、特に時間的データ処理において、ANNと比較して顕著に低い計算コストとメモリ使用量で優れた性能を達成できることを示すこと。

提案手法

• 勾配消失問題を軽減するために、勾配ベースのバックプロパゲーションを適用する前に、非スパッキング重みを用いた事前学習を実施する、BPTTに基づく改良手法を提案する。
• 深層SNNアーキテクチャの学習安定化のため、ResNetにインspiredされたスキップ接続を導入する。
• スパイクイベントを通過する勾配の流れを可能にするために、デルタ関数の微分に対するガウス近似を採用する。
• 時間的処理のためのフレームウィンドウサイズを10に設定し、各フレームごとにイベントシーケンスを連結することで、空間的・時間的ダイナミクスを保持する。
• 分類タスクには、AdamおよびSGD最適化手法を用い、バイナリクロスエントロピー損失関数を適用する。スパイク生成にはしきい値ベースの手法を採用し、データセットに応じて0.5～0.8の減衰係数を設定する。
• 精度向上のため、レストモードを無効化する。これにより、わずかにスパarsityが低下するが、性能向上のトレードオフとして受け入れる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みSNNは、イベントベースデータにおいて空間的・時間的特徴を効果的に抽出できるか。また、それらのタスクにおいて、従来のANNと比較してどのように異なるか。
• RQ2 BPTTにおける勾配消失問題を克服するために、深層SNNに有効な学習戦略は何か。
• RQ3 提案されたアーキテクチャは、現実世界のイベントベースデータセットにおいて、SOTAのSNNおよびANNモデルと比較して、どのように性能を発揮するか。
• RQ4 SNNは、ANNと比較して、顕著に低いメモリおよび計算コストで、どの程度高い精度を達成できるか。

主な発見

• 浅い畳み込みSNNは、合成された空間的・時間的特徴抽出タスクにおいて、C3D、ConvLSTMおよび類似ネットワークを上回る性能を示した。
• 提案されたSTS-ResNetアーキテクチャは、NMNISTで99.6%の精度を達成し、以前のSOTA SNN手法を上回り、このベンチマークではANNの性能と同等またはそれを上回った。
• DVS-CIFAR10では69.2%の精度を達成し、このデータセットにおけるSNNの新たなSOTAを樹立した。
• DVS-Gestureでは96.7%の精度に達し、現実世界のジェスチャー認識タスクにおいて優れた性能を示した。
• UCF-101では42.1%の精度を達成し、SNNおよびANNのベースライン（例：ResNet18+スクラッチで42.4%）を上回り、アクション認識分野で競争力のある性能を示した。
• HMDB-51では21.5%の精度を達成し、ResNet18+スクラッチベースライン（17.1%）を顕著に上回り、困難な時間的アクション認識タスクにおいても強靭性を示した。