[論文レビュー] Visual Explanations from Spiking Neural Networks using Interspike Intervals

Youngeun Kim, Priyadarshini Panda|arXiv (Cornell University)|Mar 26, 2021

Advanced Memory and Neural Computing参考文献 52被引用数 9

ひとこと要約

本稿では、バックプロパゲーションや分類ラベルに依存せずに内部スパイク活動を説明可能な生物学的に妥当な可視化手法であるスパイク活性マップ（SAM）を提案する。インタースパイクインターバル（ISI）と指数カーネルを用いた時間的スパイク寄与スコアを活用することで、前向き伝搬のみで、判別的な画像領域を強調する注目マップを生成する。この手法は adversarial 攻撃に対して頑健であり、感覚抑制行動を示すことが確認された。

ABSTRACT

Spiking Neural Networks (SNNs) compute and communicate with asynchronous binary temporal events that can lead to significant energy savings with neuromorphic hardware. Recent algorithmic efforts on training SNNs have shown competitive performance on a variety of classification tasks. However, a visualization tool for analysing and explaining the internal spike behavior of such temporal deep SNNs has not been explored. In this paper, we propose a new concept of bio-plausible visualization for SNNs, called Spike Activation Map (SAM). The proposed SAM circumvents the non-differentiable characteristic of spiking neurons by eliminating the need for calculating gradients to obtain visual explanations. Instead, SAM calculates a temporal visualization map by forward propagating input spikes over different time-steps. SAM yields an attention map corresponding to each time-step of input data by highlighting neurons with short inter-spike interval activity. Interestingly, without both the backpropagation process and the class label, SAM highlights the discriminative region of the image while capturing fine-grained details. With SAM, for the first time, we provide a comprehensive analysis on how internal spikes work in various SNN training configurations depending on optimization types, leak behavior, as well as when faced with adversarial examples.

研究の動機と目的

• スパイクニューラルネットワーク（SNN）における解釈可能性ツールの不足に応えること。SNN は低消費電力応用でますます広がってきている。
• バックプロパゲーションや分類ラベルに依存しない可視化手法を開発し、スパイクニューロンの非微分可能特性を克服すること。
• 補助勾配法や変換ベース手法を含む、さまざまな SNN 学習設定における内部スパイクダイナミクスの変化を分析すること。
• SNN の説明可能性とその耐性を、adversarial 攻撃およびマルチオブジェクト刺激条件下で評価すること。

提案手法

• SAM は、各ニューロンの時間的スパイク履歴に基づいてニューロン寄与スコア（NCS）を計算し、短いインタースパイクインターバル（ISI）を強調する指数カーネルを用いる。
• 時間的スパイク寄与スコア（TSCS）は、短い時間窓内に発生するスパイクに高い値を割り当て、より高い情報含量を反映する。
• NCS はチャネルに跨って集約され、各タイムステップごとに 2D スペーシングヒートマップ（注目マップ）を生成する。
• 本手法は前向き伝搬のみに依存し、勾配やバックプロパゲーションの必要がない。
• SAM は、例えば VGG11 などの複数の SNN アーキテクチャおよび補助勾配法や ANN-SNN 変換を含むさまざまな学習手法に適用される。
• Tiny-ImageNet と FGSM 攻撃を用いた検証が行われ、Grad-CAM と比較された。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや分類ラベルに依存せずに、SNN の内部スパイク活動をどのように可視化できるか？
• RQ2 補助勾配法と変換法の違いといった、さまざまな SNN 学習手法がスパイクダイナミクスと解釈可能性に与える影響は何か？
• RQ3 リーク係数（λ）やカーネルの傾き（γ）といったハイパーパrameter が、可視化品質や局在化精度に与える影響は何か？
• RQ4 SAM は、従来の可視化ツール（例：Grad-CAM）と比較して、adversarial 攻撃下でどのように性能を発揮するか？
• RQ5 SNN は生物学的に妥当な行動、例えば感覚抑制を示すものか？また、SAM はそのような行動を明らかにできるか？

主な発見

• 高いリーク係数（λ=0.9）を用いることで、低局在化誤差（0.97）を達成し、ニューロン内の十分な記憶保持が可視化品質の向上に寄与することを示した。
• リーク係数が低い（λ=0.7）と、精度が著しく低下（56.57% から 47.53% に低下）し、膜電位の過剰な忘却が原因で可視化が劣化する。
• 最適な γ 値（例：0.5）が局在化誤差を最小化する。γ=0（フィルタリングなし）および γ=1.0（窓が短すぎる）では性能が劣化する。
• FGSM 攻撃下でも SAM は一貫した注目マップを維持するが、Grad-CAM は大きな変化を示し、SNN の説明の優れた頑健性を示している。
• 補助勾配法で学習された SNN は、時間経過とともに複数のオブジェクトから一つの支配的オブジェクトに注目がシフトする感覚抑制を示す。SAM によりその挙動が明らかになった。
• クラスラベルや勾配計算を一切用いずに、判別的な画像領域を効果的に強調できた。これにより、ラベルフリーな解釈可能性が実証された。