[論文レビュー] Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient

Yuhang Li, Youngeun Kim+2 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

要約: 論文は Surrogate-gradient BPTT で学習した SNN と ANNs を Centered Kernel Alignment (CKA) で比較し、全体的に高い類似性と限定的な固有の時系列表現を見出し、残差接続が ANN のような表現を安定化させることを示している。

ABSTRACT

Spiking Neural Networks (SNNs) are recognized as the candidate for the next-generation neural networks due to their bio-plausibility and energy efficiency. Recently, researchers have demonstrated that SNNs are able to achieve nearly state-of-the-art performance in image recognition tasks using surrogate gradient training. However, some essential questions exist pertaining to SNNs that are little studied: Do SNNs trained with surrogate gradient learn different representations from traditional Artificial Neural Networks (ANNs)? Does the time dimension in SNNs provide unique representation power? In this paper, we aim to answer these questions by conducting a representation similarity analysis between SNNs and ANNs using Centered Kernel Alignment (CKA). We start by analyzing the spatial dimension of the networks, including both the width and the depth. Furthermore, our analysis of residual connections shows that SNNs learn a periodic pattern, which rectifies the representations in SNNs to be ANN-like. We additionally investigate the effect of the time dimension on SNN representation, finding that deeper layers encourage more dynamics along the time dimension. We also investigate the impact of input data such as event-stream data and adversarial attacks. Our work uncovers a host of new findings of representations in SNNs. We hope this work will inspire future research to fully comprehend the representation power of SNNs. Code is released at https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA.

研究の動機と目的

• Surrogate gradient によって学習された SNN が ANNs とは異なる表現を学習するかを評価する。
• 幅、深さ、時刻次元が SNN の表現を ANN と比較してどのように影響するかを調べる。
• 残差接続が表現の類似性とモデル性能に及ぼす影響を評価する。
• 入力データ型（静的 vs イベントベース）と対敵攻撃が表現に与える影響を調査する。

提案手法

• CIFAR-10/ CIFAR-100 上で、ResNet および VGG スタイルのネットワークを SNN および ANN 形式で直接訓練する。
• 全層にわたって SNN と ANN の表現間の層ごとの CKA を計算する。
• 類似性への空間的（幅/深さ）および時間的（タイムステップ）効果を分析する。
• 表現整合性への影響を調べるために残差接続のアブレーションを実施する。
• イベントベースデータおよび対敵攻撃下での表現を評価する。

実験結果

リサーチクエスチョン

• RQ1 Surrogate-gradient BPTT で学習した SNN は ANN とは異なる表現を学習するのか。
• RQ2 幅と深さは ANN-SNN の表現類似性にどう影響するのか。
• RQ3 SNN の時間次元は固有の表現力を提供するのか。
• RQ4 残差接続は表現の類似性と性能にどのような影響を与えるのか。
• RQ5 異なるデータタイプと対敵摂動は SNN の表現にどのような影響を与えるのか。

主な発見

• Surrogate gradient 学習を伴う SNN は層を超えて ANN との高い表現類似性を示す。
• 残差接続は SNN の表現をより ANN 的に正則化し、性能を改善する助けになる。
• 時間次元は新しい表現力をあまり提供せず、浅い層は静的な時間挙動を示す。
• より広いネットワークは ANN-SNN の類似性を高め、性能差を縮小する傾向がある。
• イベントベースデータセットは ANN-SNN の類似性パターンを異なる方向に示すことがあり、SNN 固有の最適化余地を示唆する。
• SNN は対敵攻撃に対して ANNs より頑健であり、攻撃下での特徴空間の類似性が高くなる傾向がある。