[論文レビュー] WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting

Philipp Weidel, Sadique Sheik|arXiv (Cornell University)|Nov 2, 2021

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

WaveSenseは、WaveNetにインspiredされたスパイクニューラルネットワークを提案し、拡張時間畳み込みの代わりにLIFニューロン内の内在的シナプスおよび膜動態を用いることで、キーワード検出のためのスパイクストリームを効率的かつ遅延なしに処理することを可能にした。SpeechCommandsおよびAlohaデータセットにおいて準SOTAの精度を達成するとともに、非常にメモリ効率が良く、神経形状ハードウェアに適している。

ABSTRACT

Ultra-low power local signal processing is a crucial aspect for edge applications on always-on devices. Neuromorphic processors emulating spiking neural networks show great computational power while fulfilling the limited power budget as needed in this domain. In this work we propose spiking neural dynamics as a natural alternative to dilated temporal convolutions. We extend this idea to WaveSense, a spiking neural network inspired by the WaveNet architecture. WaveSense uses simple neural dynamics, fixed time-constants and a simple feed-forward architecture and hence is particularly well suited for a neuromorphic implementation. We test the capabilities of this model on several datasets for keyword-spotting. The results show that the proposed network beats the state of the art of other spiking neural networks and reaches near state-of-the-art performance of artificial neural networks such as CNNs and LSTMs.

研究の動機と目的

• 常時オンのエッジデバイスにおけるキーワード検出のための低消費電力で効率的な時間的処理アーキテクチャを開発すること。
• 従来の拡張時間畳み込みを、エネルギー効率を向上させるために内在的なスパイクニューラルダイナミクスに置き換えること。
• バッファリングや明示的な遅延なしにスパイクストリームを直接処理できるようにし、メモリのオーバーヘッドを低減すること。
• 単純なLIFニューロンとフィードフォワードアーキテクチャのみを用いても、SOTAの人工ニューラルネットワーク（例：CNN、LSTM）と同等の高い精度を達成すること。
• 神経形状ハードウェアにおけるストリーミング推論と互換性のあるトレーニング戦略を設計すること。

提案手法

• リークイントグレート（LIF）ニューロンの内在的時間的統合を活用し、明示的な再帰性や拡張なしに長距離依存性をモデル化すること。
• WaveNetに類似したアーキテクチャで因果的拡張畳み込みを用いるが、フィルタをスパイクニューロンのダイナミクスに置き換えることで、時間的文脈を暗黙的にモデル化すること。
• 固定時間定数と適応機構なしの単純なフィードフォワードSNNを採用し、神経形状デプロイメントを効率的に可能にすること。
• サーヴィルグラデントに基づくトレーニング法をSRMフレームワークおよびSLAYERアルゴリズムを介して適用し、スパイクネットワークの重みを最適化すること。
• キーワード存在時のピーク応答に焦点を当てたタスク固有の損失関数を設計し、検出精度を向上させること。
• 時間的メモリ容量を、層間の時間定数の合計に比例すると定義し、タスク期間に一致させるために約2.5の比例係数を用いること。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルダイナミクスは、キーワード検出のための系列モデリングにおいて、拡張時間畳み込みを自然に置き換えられるか？
• RQ2 固定LIFニューロンを用いた単純なフィードフォワードSNNは、音声分類タスクにおいてSOTAの人工ニューラルネットワークと同等のパフォーマンスを達成できるか？
• RQ3 明示的な遅延やバッファリングなしに、時間的メモリをスパイクネットワークに効率的に符号化できるか？
• RQ4 ストリーミング推論環境において、タスク固有の損失関数を用いることでSNNのパフォーマンスをどの程度向上できるか？
• RQ5 提案されたアーキテクチャは、最小限のメモリおよび計算オーバーヘッドで神経形状ハードウェアに効率的にデプロイ可能か？

主な発見

• WaveSenseはAlohaキーワード検出データセットで98.0±1.1%の精度を達成し、先行するSOTA SNNを上回り、SOTA ANNsに近い性能を示した。
• SpeechCommandsデータセットでは79.6±0.1%の精度に達し、以前のSNNベースの手法を上回り、標準ベンチマークとしての強力なパフォーマンスを示した。
• 過去のスパイクのバッファリングや明示的な遅延が不要であるため、1層あたりのメモリ使用量がO(k+1)にまで低減された。これはWaveNetのO((k-1)·d+1)と比較して顕著な低減である。
• 時間的メモリ容量は、層間の時間定数の合計に比例し、最適なタスクパフォーマンスを得るための比例係数は約2.5であった。
• アーキテクチャはハードウェア制約に強く、時間定数の分解能が限られても、適切な層の組み合わせによりパフォーマンスを維持できる。
• LIFニューロンのシミュレーション上で再トレーニングを実施したところパフォーマンスが回復したため、本手法がデジタル神経形状プラットフォームと互換性があることが確認された。