[論文レビュー] Rockpool Documentation

Dylan R. Muir, Bauer, Felix+1 more|arXiv (Cornell University)|Aug 27, 2022

Advanced Memory and Neural Computing被引用数 14

ひとこと要約

この論文は、RockpoolとXyloニューロモーフィックプロセッサを用いて、リアルタイム音声分類のための1mW未満のスパイクニューラルネットワーク（SNN）を訓練およびデプロイする高水準で使いやすいパイプラインを提示する。98%の精度を達成し、動的消費電力が100 µW未塔、中央値遅延が100 msである。SNNの専門知識が不要な低消費電力エッジ推論を実現する。

ABSTRACT

Rockpool is a Python machine-learning package for designing, building and deploying event-driven neural network applications, particularly for Neuromorphic computing hardware. Rockpool provides a simple and comfortable API for working with spiking neural networks. Along with PyTorch and Jax support, Rockpool provides accellerated training for SNNs, and an extensible deployment pipeline.

研究の動機と目的

• SNNの専門知識が不要な標準的なDNNのバックグラウンドを持つMLエンジニアが、エッジアプリケーション用にSNNを設計・訓練・デプロイできるようにすること。
• アーキテクチャ定義からハードウェアデプロイまでをカバーするエンドツーエンドのSNNアプリケーション開発を可能にする汎用的で高水準のソフトウェアパイプラインを構築すること。
• リアルタイムでストリーミング音声分類を実現するニューロモーフィックハードウェア上で、1mW未塔のSNN推論を実証すること。
• 勾配ベースのトレーニングとハードウェアに配慮した量子化を可能にすることで、現代のディープラーニングフレームワークとニューロモーフィックハードウェアのギャップを埋めること。
• リモートセンサーや補聴器、スマートヘッドセットのようなバッテリー駆動デバイスにおける継続的で環境音シーン分類の実用的でエネルギー効率の良いソリューションを確立すること。

提案手法

• 音声信号からのマルチスケールの時間的特徴を抽出するために、深層SNNに合成シナプス時間定数のピラミッドを採用する。
• 単一チャネル音声を16周波数帯（50 Hz–8000 Hz）に分離するフィルターバンクを用い、その後にパワーエンvelope抽出を実施する。
• SNNの自動微分と勾配ベース最適化をサポートするPyTorchベースのライブラリであるRockpoolを用いてSNNを訓練する。
• スパイクダイナミクスを介したバックプロパゲーションを可能にするために、サーヴィレント勾配降下法を用いてエンドツーエンドのSNNトレーニングを実施する。
• Rockpoolのデプロイメントパイプラインを用いて、訓練済みSNNをXyloニューロモーフィック推論プロセッサに量子化およびマッピングする。
• Xylo上でストリーミングモードでモデルを実行し、10 Hz（中央値遅延100 ms）で継続的に推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 Rockpoolのような高水準でPyTorchに統合されたフレームワークは、SNNの専門知識が不要なMLエンジニアがSNNのトレーニングとデプロイメントを容易にできるか？
• RQ2 合成シナプス時間定数のピラミッドを持つフィードフォワードSNNは、超高効率な動作を維持しながら、音声シーン分類で高い精度を達成できるか？
• RQ3 Xyloプロセッサの動的推論エネルギーは、同様の音声タスクに用いられる他の低消費電力推論プラットフォームと比較してどの程度か？
• RQ4 SNNは、実世界のストリーミング音声アプリケーションにおいて、最小限の推論パワーと低遅延で競争力のある性能を達成できるか？
• RQ5 ハードウェアに配慮したトレーニングと量子化は、ニューロモーフィックASICにSNNをデプロイする際、精度をどの程度保持できるか？

主な発見

• 提案されたSNNアーキテクチャは、QUT-NOISEデータセットを用いた環境音シーン分類（CAFE、HOME、CAR、STREET）で98%の精度を達成した。
• Xylo-A2ニューロモーフィックプロセッサ上で、システムは100 µW未塔の動的推論消費電力で動作し、中央値遅延は100 msであった。
• Xyloプロセッサのアイドルモード消費電力は219 µWにとどまり、MAX78000の792–2370 µWと比較して顕著に低く、全体のエネルギー効率が向上した。
• 1回の推論あたりの動的エネルギーは9.3 µJであり、1ニューロンあたり0.12 µJであった。これはMAX78000のCNNプロセッサと同等の効率を示した。
• Xylo上での1ニューロンあたりの動的エネルギー0.12 µJは、報告された中で最も低い水準であり、Intel Loihiでさえもこれを上回るエネルギー効率を示した。
• Rockpoolを用いることで、訓練済みSNNをXyloに最小限のコード変更でシームレスにデプロイでき、産業用途向けの実用的でエンドツーエンドのワークフローを実証した。