[論文レビュー] LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and Efficient Spatiotemporal Information Processing

Zhenzhi Wu, Hehui Zhang+4 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Neural Network Applications参考文献 65被引用数 98

ひとこと要約

本論文は、Leaky Integrate and Analog Fire (LIAF)ニューロンモデルを用いた新しいスパイクニューラルネットワーク、LIAF-Netを提案する。このモデルは、二値スパイクの代わりにアナログ値を伝達することで、LIFの時間的ダイナミクスを維持しながら、人工ニューラルネットワーク(ANN)層との効率的な統合を可能にする。LIAF-Netは、LSTM、GRU、ConvLSTMネットワークと比較して、計算コストとパラメータ数を著しく削減しながら、DVS128 Gestureおよび他の時空間データセットで最先端の性能を達成する。

ABSTRACT

Spiking neural networks (SNNs) based on Leaky Integrate and Fire (LIF) model have been applied to energy-efficient temporal and spatiotemporal processing tasks. Thanks to the bio-plausible neuronal dynamics and simplicity, LIF-SNN benefits from event-driven processing, however, usually faces the embarrassment of reduced performance. This may because in LIF-SNN the neurons transmit information via spikes. To address this issue, in this work, we propose a Leaky Integrate and Analog Fire (LIAF) neuron model, so that analog values can be transmitted among neurons, and a deep network termed as LIAF-Net is built on it for efficient spatiotemporal processing. In the temporal domain, LIAF follows the traditional LIF dynamics to maintain its temporal processing capability. In the spatial domain, LIAF is able to integrate spatial information through convolutional integration or fully-connected integration. As a spatiotemporal layer, LIAF can also be used with traditional artificial neural network (ANN) layers jointly. Experiment results indicate that LIAF-Net achieves comparable performance to Gated Recurrent Unit (GRU) and Long short-term memory (LSTM) on bAbI Question Answering (QA) tasks, and achieves state-of-the-art performance on spatiotemporal Dynamic Vision Sensor (DVS) datasets, including MNIST-DVS, CIFAR10-DVS and DVS128 Gesture, with much less number of synaptic weights and computational overhead compared with traditional networks built by LSTM, GRU, Convolutional LSTM (ConvLSTM) or 3D convolution (Conv3D). Compared with traditional LIF-SNN, LIAF-Net also shows dramatic accuracy gain on all these experiments. In conclusion, LIAF-Net provides a framework combining the advantages of both ANNs and SNNs for lightweight and efficient spatiotemporal information processing.

研究の動機と目的

• 従来のLIFベースのスパイクニューラルネットワーク(SNN)における二値スパイク伝達による性能劣化を是正すること。
• 二値スパイクの代わりにアナログ活性化を用いることで、SNNと人工ニューラルネットワーク(ANN)間のシームレスな統合を可能にすること。
• 情報伝達の忠実度を向上させつつ、生物学的に妥当な時間的処理ダイナミクスを維持すること。
• 再帰的および3次元畳み込みネットワークと比較して、時空間学習タスクにおける計算および記憶のオーバーヘッドを低減すること。

提案手法

• LIFの時間的ダイナミクスを保持するが、ニューロン活性化にアナログ値を用いるLeaky Integrate and Analog Fire (LIAF)ニューロンモデルを提案する。
• ニューロン間でのアナログ活性化伝達を可能にし、LIF-SNNにおける二値スパイクと比較して情報の忠実度を向上させる。
• ReLU、バッチ正則化、残差接続などの標準的なANNレイヤー（例：ReLU、バッチ正則化、残差接続）と互換性のある活性化フォーマットを用いて、共同学習を可能にする。
• 畳み込み層または全結合層による空間処理を統合し、TensorFlowなどの標準的なディープラーニングフレームワークとエンドツーエンドで学習可能にする。
• 各ニューロンの膜電位が漏れのある積分および発火メカニズムに従い、アナログ出力を生成するタイムステップベースのダイナミクスを採用する。
• 微分可能なアナログ出力を用いた時間に沿った誤差逆伝播（backpropagation through time）を採用し、深く時空間的なアーキテクチャの有効な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アナログ活性化伝達は、時間的処理能力を損なわせることなく、スパイクニューラルネットワークの性能を向上させることができるか？
• RQ2 LIAF-Netは、LSTMやGRUと比較して、計算量とメモリコストを低く抑えながら、時空間タスクで高い精度を達成できるか？
• RQ3 標準的なANN部品（例：正則化、スキップ接続）とのLIAFの統合が、学習の安定性および性能に与える影響は何か？
• RQ4 LIAF-Netは、動的ビジョンセンサー(DVS)データセットにおいて、既存のSNNおよびハイブリッドネットワークをどの程度上回るか？
• RQ5 ヒト皮質Pyramidalニューロンにおけるアナログアクションポテンシャルの証拠を踏まえると、LIAFモデルは生物学的に妥当性を有するか？

主な発見

• LIAF-Netは、DVS128 Gestureデータセットで97.56%のテスト精度を達成し、次に優れた手法（Bi et al., 2019）を2.24ポイント上回った。
• 同じデータセットにおいて、ConvLSTMベースのネットワークと比較して、計算オーバーヘッドを91.6%、パラメータ保存容量を90.0%削減した。
• bAbI QAデータセットでは、GRUおよびLSTMネットワークと同等の性能を示したが、シナプスの重み数と計算量を著しく削減した。
• MNIST-DVS、CIFAR10-DVS、DVS128 Gestureデータセットにおいて、LIAF-Netは従来のLIF-SNNおよびスパイクベース通信を用いるSNNをすべて上回り、最先端の性能を達成した。
• LIAFモデルは生物学的に妥当であることが示された。ヒト皮質Pyramidalニューロンにおけるアナログアクションポテンシャルの証拠が、その実現可能性を支持している。
• LIAF-Netは、標準的なディープラーニングフレームワークを直接使用できるため、スパイクコーディングフォーマットへの変換の必要がなく、現代の学習技術の利用が可能になった。