[論文レビュー] Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences

Weihua He, Yujie Wu+7 more|arXiv (Cornell University)|May 2, 2020

Advanced Memory and Neural Computing参考文献 53被引用数 15

ひとこと要約

この論文は、バックプロパゲーションスルータイム（BPTT）、レートコーディングにインspiredされた損失関数、共有されたネットワークアーキテクチャを含む統一されたトレーニングプロトコルを用いて、神経モルフィックビジョンデータセット上でスパイクニューラルネットワーク（SNNs）と再帰的ニューラルネットワーク（RNNs）を体系的に比較している。主な発見は、SNNsが疎で低時間分解能のデータに対して優れた正確性を達成する一方、LSTMを含むRNNs—特に修正された損失関数を用いる場合—は、密で高分解能のデータに対してSNNsと同等またはわずかに上回る性能を示すことで、耐性、パラメータ効率、および長期記憶のトレードオフが浮き彫りになる。

ABSTRACT

Neuromorphic data, recording frameless spike events, have attracted considerable attention for the spatiotemporal information components and the event-driven processing fashion. Spiking neural networks (SNNs) represent a family of event-driven models with spatiotemporal dynamics for neuromorphic computing, which are widely benchmarked on neuromorphic data. Interestingly, researchers in the machine learning community can argue that recurrent (artificial) neural networks (RNNs) also have the capability to extract spatiotemporal features although they are not event-driven. Thus, the question of "what will happen if we benchmark these two kinds of models together on neuromorphic data" comes out but remains unclear. In this work, we make a systematic study to compare SNNs and RNNs on neuromorphic data, taking the vision datasets as a case study. First, we identify the similarities and differences between SNNs and RNNs (including the vanilla RNNs and LSTM) from the modeling and learning perspectives. To improve comparability and fairness, we unify the supervised learning algorithm based on backpropagation through time (BPTT), the loss function exploiting the outputs at all timesteps, the network structure with stacked fully-connected or convolutional layers, and the hyper-parameters during training. Especially, given the mainstream loss function used in RNNs, we modify it inspired by the rate coding scheme to approach that of SNNs. Furthermore, we tune the temporal resolution of datasets to test model robustness and generalization. At last, a series of contrast experiments are conducted on two types of neuromorphic datasets: DVS-converted (N-MNIST) and DVS-captured (DVS Gesture).

研究の動機と目的

• SNNsとRNNsの性能格差を、公平で比較可能なトレーニング条件のもとで神経モルフィックビジョンデータセットにベンチマークした際の分析を目的とする。
• 特に空間的・時間的特徴抽出および記憶メカニズムに関して、SNNsとRNNsのモデリングおよび学習ダイナミクスにおける本質的類似点と相違点を特定することを目的とする。
• イベント密度の変動を模擬する時間分解能のチューニングを通じて、神経モルフィックデータセットの時間分解能を変化させることで、モデルの耐性および一般化能力を評価することを目的とする。
• 認識正確性、計算複雑性、パラメータ数、一般化能力の観点から、SNNs、バニラRNN、LSTMの比較を通じて、神経モルフィックワークロードにおけるモデル選択を支援することを目的とする。
• SNNsの膜電位ダイナミクスやRNNsのゲーテッド再帰といった両者のアーキテクチャ的アイデアを組み合わせることで、より効率的かつ正確なハイブリッドモデルの設計可能性を検討することを目的とする。

提案手法

• 標準化されたトレーニングプロトコル：SNNsとRNNsの両者に統一されたバックプロパゲーションスルータイム（BPTT）を適用し、公平な比較を確保する。
• SNNのレートコーディング原理に適合するように、標準的なRNN損失関数を修正し、同等の学習目的を実現する。
• SNNsとRNNsの両者に同一のネットワークアーキテクチャ（スタックされた全結合層または畳み込み層）を適用し、学習率やバッチサイズなどのハイパーパrameterを共有する。
• 神経モルフィックデータセット（N-MNISTおよびDVS Gesture）の時間分解能をチューニングし、スパarsityおよびイベント密度の変動下でのモデルの耐性および一般化能力を評価する。
• 2つの異なる神経モルフィックデータセット（N-MNIST：静的画像からDVSに変換されたもの、DVS Gesture：実際の動きからDVSでキャプチャされたもの）を用いた制御された実験を実施する。
• 認識正確性、特徴抽出の質、時間的コントラスト感度、計算複雑性、パラメータ効率の観点からモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 SNNsとRNNsは、神経モルフィックビジョンデータセット上で同一の条件でトレーニングされた場合、認識正確性においてどのように比較されるか？
• RQ2 SNNのレートコーディングにインspiredされた損失関数は、特に標準的なRNN損失関数と比較して、神経モルフィックデータ上でのRNN性能をどの程度向上させるか？
• RQ3 時間分解能の変化は、神経モルフィックデータセット上でのSNNsおよびRNNsの一般化および耐性にどのように影響するか？
• RQ4 SNNsとRNNsの間の性能格差を説明する主なアーキテクチャ的および学習的相違点は何か？特に、空間的・時間的イベントデータの処理に関して。
• RQ5 SNNs（例：膜電位ダイナミクス）およびRNNs（例：ゲーテッド記憶）からの知見を統合することで、より効率的かつ正確なハイブリッドモデルを設計できるか？

主な発見

• SNNsは、N-MNISTおよびDVS Gestureの両データセットにおいて、バニラRNNよりも一貫して高い認識正確性を達成しており、特に低時間分解能条件下で顕著である。
• レートコーディングにインspiredされた損失関数を適用したLSTMは、性能が著しく向上し、高時間分解能データ上ではSNNsと同等またはわずかに上回る正確性を達成した。
• N-MNIST（DVSに変換された静的画像）ではSNNsとRNNsの正確性の差が小さいが、DVS Gesture（DVSでキャプチャされた実際の動き）では、SNNsとLSTMがバニラRNNを著しく上回っている。これは、時間的コントラストが高く、長期依存性が強いことが要因である。
• 音声データに対して、異なるシミュレーションステップ数を用いたテストでは、SNNsはT=75でも98.14%の正確性を維持するが、バニラRNNはT=15で46.14%に低下する。
• SNNsにおけるセルフニューロン再帰と制限付き重み共有により、パラメータ数とFLOPsが削減され、RNNsと比較してより高い効率性と一般化能力を示した。
• モデル間の性能格差は、DVS Gestureで最も顕著であり、これは時間的コントラストが高く、長期記憶と時間的ダイナミクスがこのようなデータセットにおいて極めて重要であることを示している。