[論文レビュー] Enhancing Adaptive History Reserving by Spiking Convolutional Block Attention Module in Recurrent Neural Networks

Qi Xu, Yuyuan Gao+5 more|arXiv (Cornell University)|Jan 8, 2024

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

この論文は SRNN-SCBAM を提案する。スパイキング再発神経ネットワークとスパイキング畳み込みブロック注意モジュールを組み合わせ、空間および時間チャネルで履歴を適応的に呼び出し、DVSイベントベースデータセットでの memory efficiency と精度を向上させる。

ABSTRACT

Spiking neural networks (SNNs) serve as one type of efficient model to process spatio-temporal patterns in time series, such as the Address-Event Representation data collected from Dynamic Vision Sensor (DVS). Although convolutional SNNs have achieved remarkable performance on these AER datasets, benefiting from the predominant spatial feature extraction ability of convolutional structure, they ignore temporal features related to sequential time points. In this paper, we develop a recurrent spiking neural network (RSNN) model embedded with an advanced spiking convolutional block attention module (SCBAM) component to combine both spatial and temporal features of spatio-temporal patterns. It invokes the history information in spatial and temporal channels adaptively through SCBAM, which brings the advantages of efficient memory calling and history redundancy elimination. The performance of our model was evaluated in DVS128-Gesture dataset and other time-series datasets. The experimental results show that the proposed SRNN-SCBAM model makes better use of the history information in spatial and temporal dimensions with less memory space, and achieves higher accuracy compared to other models.

研究の動機と目的

• 時空イベントデータを扱う再帰的スパイキングネットワークにおける履歴メモリ利用の効率化を動機づける。
• ConvLSTM をスパイキング CBAM と統合し、空間および時間チャネル全体で履歴を適応的に呼び出す。
• DVS128-Gesture および CIFAR10-DVS データセットでのメモリ効率と精度向上を示す。
• RSNN における SCBAM の有効性を検証する別解研究（アブレーション）と可視化を提供する。

提案手法

• RSNN における適応的な履歴呼び出しを可能にする CBAM 搭載スパイキング ConvLSTM を導入。
• 忘却ゲートに対してチャネルおよび空間注意を逐次適用する Spiking CBAM を開発。
• 訓練にはガウス erf ベースのスパイク勾配を用いた代用勾配学習を適用。
• ニューロモルフィックデータのためにプーリングと全結合層を備えたエンコーダ-分類器 RSNN-CBAM フレームワークを使用。
• アブレーションと可視化分析を含む CIFAR10-DVS および DVS128 Gesture データセットで評価。

実験結果

リサーチクエスチョン

• RQ1 空間および時間の履歴を適応的に重み付けすることにより、スパイキング CBAM は RSNN における選択的記憶保持を改善できるか。
• RQ2 ConvLSTM と SCBAM の統合はイベントベースの時空データにおける精度とメモリ効率を改善するか。
• RQ3 SCBAM を組み込んだ場合、忘却ゲートと他のゲートの寄与はどうなるか。
• RQ4 SCBAM は RSNN の特徴のスパース性と冗長性削減にどう影響するか。

主な発見

方法	精度（%）
HOTS	27.1
Lightweight Statistical	31.2
Attention Mechanisms	44.1
HATS	52.4
LIF-NET	63.5
LIAF-NET	70.4
Proposed CBAM-SNN	66.3

• Spiking ConvLSTM with Spiking CBAM は ablation セットの中で DVS128 Gesture に対して試験した構成の中で最高の精度を達成し、ある構成では約 95% である。
• 報告された設定では、CBAM なしの Spiking ConvLSTM に比べて Spiking CBAM は約 1.7 ポイントの性能向上。
• CIFAR10-DVS では提案された CBAM-SNN が 66.3% の精度に達し、いくつかのベースラインと競合し、いくつかの従来の SNN アプローチよりも高い。
• アブレーションにより、SCBAM と組み合わせた忘却ゲートが他のゲートと比較して最大の精度向上をもたらすことが示された。
• SCBAM 推進 RSNN は時間ステップ間でよりスパースで相補的な特徴マップを生み出し、効果的な履歴呼び出しと冗長性の削減を示している。
• 本法は最先端 RSNN に対して競争力のある性能を示し、時空間イベントデータに対する適応的な履歴保持を強調する。