[論文レビュー] TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks

Ruijie Zhu, Malu Zhang+4 more|arXiv (Cornell University)|Jun 21, 2022

Advanced Memory and Neural Computing被引用数 26

ひとこと要約

TCJA-SNNは、LIFベースのSNNに対して Temporal-Channel Joint Attention モジュールを導入し、Temporal-wise Local Attention、Channel-wise Local Attention、Cross Convolutional Fusion を用いて時間とチャネルの依存関係を共同でモデリングし、分類性能を向上させ、ハイクオリティなスパイキング生成を可能にします。

ABSTRACT

Spiking Neural Networks (SNNs) are attracting widespread interest due to their biological plausibility, energy efficiency, and powerful spatio-temporal information representation ability. Given the critical role of attention mechanisms in enhancing neural network performance, the integration of SNNs and attention mechanisms exhibits potential to deliver energy-efficient and high-performance computing paradigms. We present a novel Temporal-Channel Joint Attention mechanism for SNNs, referred to as TCJA-SNN. The proposed TCJA-SNN framework can effectively assess the significance of spike sequence from both spatial and temporal dimensions. More specifically, our essential technical contribution lies on: 1) We employ the squeeze operation to compress the spike stream into an average matrix. Then, we leverage two local attention mechanisms based on efficient 1D convolutions to facilitate comprehensive feature extraction at the temporal and channel levels independently. 2) We introduce the Cross Convolutional Fusion (CCF) layer as a novel approach to model the inter-dependencies between the temporal and channel scopes. This layer breaks the independence of these two dimensions and enables the interaction between features. Experimental results demonstrate that the proposed TCJA-SNN outperforms SOTA by up to 15.7% accuracy on standard static and neuromorphic datasets, including Fashion-MNIST, CIFAR10-DVS, N-Caltech 101, and DVS128 Gesture. Furthermore, we apply the TCJA-SNN framework to image generation tasks by leveraging a variation autoencoder. To the best of our knowledge, this study is the first instance where the SNN-attention mechanism has been employed for image classification and generation tasks. Notably, our approach has achieved SOTA performance in both domains, establishing a significant advancement in the field. Codes are available at https://github.com/ridgerchu/TCJA.

研究の動機と目的

• LIFベースのSNNにおける時系列とチャネル情報の共同活用を動機づけ、表現学習と精度を向上させる。
• 既存のSNNに大規模な再学習を必要とせずにプラグインできる軽量なアテンションモジュールを開発する。
• 時系列とチャネルの手掛かりを低パラメータオーバーヘッドで融合する機構を提案する。
• ニューロモーフィックデータセットとFashion-MNISTを用いた分類と生成の両タスクで有効性を示す。

提案手法

• 時間軸に沿った平均マトリクス Z（サイズ C x T）にスパイクストリームを絞り込み、時空間チャネルの相関を捉える。
• Z 上で time 軸に沿う 1-D 畳み込みを用いて Temporal-wise Local Attention (TLA) を導入する。
• Z 上でチャネル軸に沿う 1-D 畳み込みを用いて Channel-wise Local Attention (CLA) を導入する。
• TLA と CLA の出力を用いて F = sigmoid(T ∘ C) を計算する Cross Convolutional Fusion (CCF) によって時系列とチャネルの重要性を融合する。
• スパイクベースの学習で逆伝搬するために ATan および三角形風の surrogate 関数を用いる。
• Classification を最適化するために Spike Mean-Square-Error (SMSE) と Temporal Efficient Training (TET) loss で訓練する。

実験結果

リサーチクエスチョン

• RQ1 時系列のみのアテンションを超えて、ジョイントの時系列-チャネルアテンション機構は Spiking Neural Networks における特徴判別を改善できるか？
• RQ2 提案された TCJA モジュールは SNN における時空間依存性をパラメータ効率良くモデル化できるか？
• RQ3 TCJA-SNN は binary スパイクおよび non-binary スパイクを用いて、ニューロモーフィックデータセットと静的データセットの両方で最先端の精度を達成できるか？
• RQ4 TCJA はSNNにおける高レベルの分類と低レベルの生成タスクの両方に有効か？

主な発見

• TCJA-SNN は Fashion-MNIST、CIFAR10-DVS、N-Caltech 101、および DVS128 Gesture のバイナリスパイクで最大 15.7% の分類精度向上を含む、静的データセットとニューロモーフィックデータセットで従来法を上回る。
• DVS128 Gesture では、TCJA-SNN は 20 時間ステップで 99.0% の精度に達し、TA-SNN よりも少ないステップで上回る。
• N-Caltech 101 では、TCJA-SNN は 14 時間ステップで 78.5% の精度を達成し、 prior best に対して大幅な向上を示す。
• TCJA は 画像生成の完全スパイキング変分オートエンコーダ（FSVAE）を可能にし、競争力のある Inception Scores とベースラインと比較して有利な FID/FAD 指標を達成する。
• アブレーション解析により CLA の寄与が顕著であり、Cross Convolutional Fusion (CCF) が時系列とチャネルの結合利得を達成する鍵である。