[論文レビュー] Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks

Bojian Yin, Federico Corradi+1 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Memory and Neural Computing被引用数 13

ひとこと要約

本論文は、新しいマルチガウス型補間勾配と学習可能なニューロン時定数を備えた適応的スパiking再帰型ニューラルネットワーク（SRNN）を提案し、音声やジェスチャー認識などの時間領域ベンチマークで最先端の性能を達成した。SNNおよび従来のRNNを上回り、スパースなスパイク活動のおかげで計算効率が1〜3桁向上した。

ABSTRACT

Inspired by more detailed modeling of biological neurons, Spiking neural networks (SNNs) have been investigated both as more biologically plausible and potentially more powerful models of neural computation, and also with the aim of extracting biological neurons' energy efficiency; the performance of such networks however has remained lacking compared to classical artificial neural networks (ANNs). Here, we demonstrate how a novel surrogate gradient combined with recurrent networks of tunable and adaptive spiking neurons yields state-of-the-art for SNNs on challenging benchmarks in the time-domain, like speech and gesture recognition. This also exceeds the performance of standard classical recurrent neural networks (RNNs) and approaches that of the best modern ANNs. As these SNNs exhibit sparse spiking, we show that they theoretically are one to three orders of magnitude more computationally efficient compared to RNNs with comparable performance. Together, this positions SNNs as an attractive solution for AI hardware implementations.

研究の動機と目的

• スパイクニューラルネットワーク（SNN）と従来の人工ニューラルネットワーク（ANN）との間の時間的シーケンスモデリングにおける性能格差を是正すること。
• 音声やジェスチャー認識などの挑戦的な時間領域タスクにおけるSNNの学習安定性と精度を向上させること。
• スパイクニューロンのスパースかつイベント駆動の性質を活用して、エネルギー効率の高いAIハードウェアの展開を可能にすること。
• SNNが従来のRNNと同等またはそれを上回る性能を発揮しながら、低計算コストと低エネルギー消費を維持できることを実証すること。

提案手法

• バックプロパゲーション中に非微分可能スパイク関数をよりよく近似できるよう、ELU活性化関数をインspiredした負の勾配を含む新しいマルチガウス型補間勾配を導入。
• 提案された補間勾配を用いて、再帰的スパイクニューロンに対して時間遡及バックプロパゲーション（BPTT）を実行し、エンドツーエンド学習を実現。
• ネットワーク重みとともに、適応的リーフィット・アンド・ファイア（LIF）ニューロンの内部時定数パラメータを同時に学習させることで、学習ダイナミクスと性能を向上。
• 連続的な入力信号（例：ECG、音声）をスパイクトレインに変換するためのレベルクロスイング符号化を採用し、時間領域処理に適した時間的情報を保持。
• TIMITなどのタスクにおけるシーケンスモデリングを強化するため、前向きおよび後向きの隠れ状態を平均化する双方向SRNNを適用。
• 蓄積（AC）および乗算-蓄積（MAC）演算コストを比較することで理論的エネルギー効率をモデル化し、スパースなスパイク活動のおかげでSNNがMAC演算を著しく削減できることを示した。

実験結果

リサーチクエスチョン

• RQ1 新しい補間勾配は、時間領域タスクにおけるスパイク再帰型ネットワークの学習安定性と性能を向上させることができるか？
• RQ2 スパイクニューロンの時定数を同時に学習させることで、固定パラメータと比較して一般化性能と精度が向上するか？
• RQ3 SRNNはGoogle Speech Commands、TIMIT、SoLiジェスチャー認識などの挑戦的なベンチマークで最先端の性能を達成できるか？
• RQ4 SRNNにおけるスパースなスパイクパターンは、同程度の精度を達成する標準RNNやANNと比較して、計算コストとエネルギー消費をどの程度低減できるか？
• RQ5 SRNNは従来のRNNと同等またはそれ以上の性能を発揮しながら、スパイクシステムに内在するエネルギー効率を維持できるか？

主な発見

• 提案されたマルチガウス型補間勾配は、ECG、音声、ジェスチャー認識タスクを含むすべてのベンチマークで、既存の補間勾配を一貫して上回った。
• 適応的スパイクニューロンの時定数を同時に学習させることで、特にTIMITやSoLiのような複雑な時間的タスクにおいて一貫した性能向上が得られた。
• Google Speech Commandsデータセットでは、SRNNが以前のSNNを上回り、最新のモダンなANNに近い性能を達成した。
• TIMITベンチマークでは、双方向適応的SRNNが前向きおよび後向きのシーケンス処理を活用し、出力を平均化することで高い精度を達成した。
• SRNNの平均的なスパイクニューロンは、3〜30ステップに1回の割合でスパイクを発生させており、極めてスパースな活動を示している。
• 理論的エネルギーコスト分析から、SNNが同程度の精度を持つRNNやANNと比較して、1〜3桁の計算効率の向上を示した。これは、高価なMAC演算に比べて安価なAC演算が支配的であるためである。