[論文レビュー] Finite Meta-Dynamic Neurons in Spiking Neural Networks for Spatio-temporal Learning

Xiang Cheng, Tielin Zhang+2 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Memory and Neural Computing参考文献 39被引用数 10

ひとこと要約

本稿では、空間的および時間的メタニューロン型に1次および2次膜電位ダイナミクスを統合することで、時空間的学習を向上させるため、スパikingニューラルネットワーク（SNNs）における有限メタダイナミックニューロン（MDNs）を提案する。MDNsは、STDPなどの生物学的に妥当な学習ルールを用いて、MNIST、Fashion-MNIST、TIDigits、TIMIT、N-MNISTなど多様なデータセットにおいて、最先端のSNNと同等またはそれ以上の精度を達成し、より優れた一般化性能を示す。

ABSTRACT

Spiking Neural Networks (SNNs) have incorporated more biologically-plausible structures and learning principles, hence are playing critical roles in bridging the gap between artificial and natural neural networks. The spikes are the sparse signals describing the above-threshold event-based firing and under-threshold dynamic computation of membrane potentials, which give us an alternative uniformed and efficient way on both information representation and computation. Inspired from the biological network, where a finite number of meta neurons integrated together for various of cognitive functions, we proposed and constructed Meta-Dynamic Neurons (MDN) to improve SNNs for a better network generalization during spatio-temporal learning. The MDNs are designed with basic neuronal dynamics containing 1st-order and 2nd-order dynamics of membrane potentials, including the spatial and temporal meta types supported by some hyper-parameters. The MDNs generated from a spatial (MNIST) and a temporal (TIDigits) datasets first, and then extended to various other different spatio-temporal tasks (including Fashion-MNIST, NETtalk, Cifar-10, TIMIT and N-MNIST). The comparable accuracy was reached compared to other SOTA SNN algorithms, and a better generalization was also achieved by SNNs using MDNs than that without using MDNs.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）の限界、例えば解釈性の低さ、段階的学習能力の欠如、非生物学的学習ルールの問題を解決すること。
• 自然の神経系にインspiredされた生物学的に妥当なニューロンダイナミクスと構造的多様性を組み込むことで、SNNの性能を向上させること。
• 異なる動的挙動を示す有限のメタニューロンのセットを導入することで、時空間的学習タスクにおけるネットワークの一般化性能と効率を向上させること。
• 脳の効率的な多様なタイプの処理を模倣するように、ニューロンレベルおよびネットワークレベルの複雑さのバランスを取ったニューロンモデルを開発すること。

提案手法

• 1次および2次膜電位ダイナミクスを有するメタダイナミックニューロン（MDNs）を提案し、空間的（例：MNIST）および時間的（例：TIDigits）情報処理を可能にする。
• 空間的MDNs（SMDNs）を1次ダイナミクスで設計し、強力な空間的表現を実現し、時間的MDNs（TMDNs）を2次ダイナミクスで設計し、時間的シーケンスモデリングを可能にする。
• スパイク時刻依存可塑性（STDP）などの生物学的に妥当な学習ルールを用いてMDNsを学習し、ハイパーパrameterを用いてダイナミクスの挙動を調整する。
• 自己学習されたMDNsを、ファッションMNIST、NETtalk、CIFAR-10、TIMIT、N-MNISTなど多様な時空間的タスクに適用し、浅い3層アーキテクチャを用いる。
• 時間的タスク（例：TIDigits、TIMIT）における性能を評価するため、逐次的および非逐次的入力処理戦略を用いる。
• 精度と耐性を指標として、複数のベンチマークでMDNsを有するSNNとないSNNを比較することで一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1次および2次ダイナミクスを有するメタニューロンは、標準ニューロンと比較してSNNにおける時空間的一般化性能を向上させることができるか？
• RQ2 生物学的に妥当な学習ルールで学習された際、空間的および時間的MDNsはMNISTやTIDigitsなどのベンチマークデータセットでどの程度の性能を示すか？
• RQ3 複数のメタニューロンタイプの統合は、画像分類や音声認識などの多様なタスクにおけるSNN性能を向上させるか？
• RQ4 より深いまたは大きなネットワークアーキテクチャを必要とせずに、MDNsは一般化性能をどの程度向上させるか？
• RQ5 MDNsは生物学的妥当性を保ちながら、最先端のSNNと同等の精度を達成できるか？

主な発見

• MDNを備えたSNNはMNISTで98.69%の精度を達成し、先行するSOTAのSNN（98.64%）を上回り、優れた一般化性能を示した。
• Fashion-MNISTでは、MDNベースのSNNが90.5%の精度に達し、SOTAのSNNベースライン（85.74%）を顕著に上回った。
• NETtalkタスクでは、MDN-SNNが91.46%の精度を達成したのに対し、SOTAのSNNは87.20%であったため、時間的一般化性能の向上が示された。
• TIMITでは、MDN-SNNが91.98%の精度を達成し、標準ベンチマークとは異なる性別分類設定であったにもかかわらず、強力な性能を示した。
• TIDigitsにおける非逐次的入力処理戦略では94.00%の精度を達成し、逐次的手法（78.00%）を上回った。これは、時間的学習における入力表現の重要性を強調している。
• すべてのタスクにおいて、MDNを備えたSNNは標準SNNよりも優れた一般化性能を示し、メタニューロンの多様性が耐性および適応性の向上に寄与していることが示唆された。