[論文レビュー] Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck

Nicolas Skatchkovsky, Osvaldo Simeone+1 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿では、スパイクニューラルネットワーク（SNN）エンコーダと人工ニューラルネットワーク（ANN）デコーダを備えたハイブリッド変分オートエノードイザーを提案し、指向的情報ボトルネック基準を最適化するための新規エンドツーエンドの補助勾配法により訓練する。この手法により、デコーディングにあらかじめ制約を設けずにスパイク時刻符号化を最適化するSNNの学習が可能となり、画像などの自然信号へのスパイク入力のナチュラライゼーションにおいて最先端の性能を達成する。

ABSTRACT

One of the key challenges in training Spiking Neural Networks (SNNs) is that target outputs typically come in the form of natural signals, such as labels for classification or images for generative models, and need to be encoded into spikes. This is done by handcrafting target spiking signals, which in turn implicitly fixes the mechanisms used to decode spikes into natural signals, e.g., rate decoding. The arbitrary choice of target signals and decoding rule generally impairs the capacity of the SNN to encode and process information in the timing of spikes. To address this problem, this work introduces a hybrid variational autoencoder architecture, consisting of an encoding SNN and a decoding Artificial Neural Network (ANN). The role of the decoding ANN is to learn how to best convert the spiking signals output by the SNN into the target natural signal. A novel end-to-end learning rule is introduced that optimizes a directed information bottleneck training criterion via surrogate gradients. We demonstrate the applicability of the technique in an experimental settings on various tasks, including real-life datasets.

研究の動機と目的

• スパイクタイミングによる情報符号化のための、手作業で設計されたデコーディングルールの制限を是正すること。
• 固定されたデコーディング戦略の問題を克服し、学習可能なデコーダーと共同で訓練することでSNNが最適なスパイク表現を学習できるようにすること。
• SNNが出力するスパイクを自然信号に変換する学習可能なANNを備えたハイブリッドSNN-ANNオートエノードイザーのフレームワークを構築し、エンドツーエンド最適化を可能にすること。
• SNNにおける因果的で連続的なスパイクダイナミクスに特化した指向的情報ボトルネック基準を定式化し、従来の相互情報量の代わりに用いること。
• 実世界のニューロモーフィックデータセット（MNIST-DVSなど）を用いて、画像再構成および分類の両面で本手法の有効性を実証すること。

提案手法

• SNNエンコーダとANNデコーダを備えたハイブリッド変分オートエノードイザーを提案し、SNNがスパイク入力を処理し、ANNが自然信号を再構築する。
• 因果的で時間変動するスパイク信号を扱えるように一般化された指向的情報ボトルネック（DIB）基準に基づく新規エンドツーエンド学習ルールを導入する。
• 補助勾配を用いてSNNを逆伝播可能にし、非微分可能なスパイク操作にもかかわらずスパイクニューロンの訓練を可能にする。
• DIB目的関数の変分下限を最適化し、再構築精度とスパイク表現における不要な情報の圧縮の両立を図る。
• SNNの各ニューロンからの学習信号とANNからのグローバルフィードバックを用いた、SNNとANNを同時に訓練する共同学習スキームを採用する。
• 基準信号として元の自然なターゲット（例：画像）を定義し、SNNのスパイク出力からその再構築を学習する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドSNN-ANNオートエノードイザーは、デコーディングルールにあらかじめ仮定を置かずに、自然信号に最適にデコード可能なスパイクトレインに入力信号を符号化できるか？
• RQ2 提案された指向的情報ボトルネック（VDIB）手法は、レートまたは最初のスパイクデコーディングといった従来の手作業デコーディング戦略と比較して、スパイク表現学習をどのように改善するか？
• RQ3 SNNは、自然信号の正確な再構築および下流の分類を支援する情報的なスパイク時刻パターンをどの程度学習できるか？
• RQ4 符号化およびデコーディングのウィンドウサイズτₑとτdといったハイパーパrameterが、VDIBフレームワークの性能にどのように影響するか？
• RQ5 VDIBフレームワークは、DVSカメラなどの実際のニューロモーフィックセンサーからのスパイク入力を、効果的に自然信号に変換できるか？

主な発見

• MNISTデータセットにおいて、時間から最初のスパイクに符号化し、VDIBデコーディングを用いた場合、分類精度が92.82％に達し、MLPデコーダを用いたレートデコーディング（60.50％）や最初のスパイクデコーディング（86.43％）を大きく上回った。
• T-SNE可視化では、VDIBがクラスに特徴的な明確に分離されたスパイク表現を生成している一方、レートデコーディングでは重なった、区別がつきにくいクラスタが得られた。
• MNIST-DVSデータセットにおいて、VDIBはスパイク入力から自然画像を再構築でき、視覚的品質が正解と同等に高く、効果的なナチュラライゼーションを実現した。
• 本手法により、事前に定義されたデコーディングメカニズムに縛られない情報的な時間的符号化パターンをSNNが学習可能となり、情報容量が向上した。
• アブレーションスタディにより、ウィンドウサイズτₑとτdの選択が性能に顕著に影響することが確認され、最適な値が再構築および分類性能を向上させた。
• 補助勾配によるエンドツーエンド学習を備えたハイブリッドSNN-ANNフレームワークにより、スパイクニューロンを逆伝播可能にし、非微分性の障壁を克服できた。