[論文レビュー] Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors

Uğurcan Çakal, İlkay Ulusoy+3 more|arXiv (Cornell University)|Mar 14, 2023

Advanced Memory and Neural Computing参考文献 18被引用数 1

ひとこと要約

本論文は、DYNAP-SE2チップを対象として、勾配降下法とハードウェアに配慮したトレーニングおよびデプロイメントパイプラインを提示する。異なる可微分シミュレータ（DynapSim）とJAXベースの最適化、および非教師あり重み量子化を統合することで、エンドツーエンドのトレーニングと数分で実現可能な耐障害性の高いデプロイメントが可能となり、非コンパイルトレーニングに比べ3700倍の高速化を達成した。また、デバイス不一致や量子化といったハードウェアの非理想性に対しても、精度を維持した。

ABSTRACT

Mixed-signal neuromorphic processors provide extremely low-power operation for edge inference workloads, taking advantage of sparse asynchronous computation within Spiking Neural Networks (SNNs). However, deploying robust applications to these devices is complicated by limited controllability over analog hardware parameters, as well as unintended parameter and dynamical variations of analog circuits due to fabrication non-idealities. Here we demonstrate a novel methodology for ofDine training and deployment of spiking neural networks (SNNs) to the mixed-signal neuromorphic processor DYNAP-SE2. The methodology utilizes gradient-based training using a differentiable simulation of the mixed-signal device, coupled with an unsupervised weight quantization method to optimize the network's parameters. Parameter noise injection during training provides robustness to the effects of quantization and device mismatch, making the method a promising candidate for real-world applications under hardware constraints and non-idealities. This work extends Rockpool, an open-source deep-learning library for SNNs, with support for accurate simulation of mixed-signal SNN dynamics. Our approach simplifies the development and deployment process for the neuromorphic community, making mixed-signal neuromorphic processors more accessible to researchers and developers.

研究の動機と目的

• DYNAP-SE2のようなミックスドシグナルニューロモーラルハードウェアにSNNをデプロイする課題に対処すること。これは、パrameterのばらつきと設定の制限性に起因する。
• 従来、ニューロモーラルデバイスのデプロイに数か月もかかっていた手動キャリブレーションプロセスを短縮すること。
• 現実のハードウェア制約、例えばデバイス不一致や量子化といった条件下でも、スケーラブルで自動的かつ耐障害性のあるSNNトレーニングとデプロイメントを可能にすること。
• ミックスドシグナルSNNダイナミクスを高精度に再現できる、可微分かつハードウェアに忠実なシミュレータ（DynapSim）をRockpoolライブラリに拡張すること。
• ノイズ注入と量子化を伴う勾配ベースのトレーニングが、実際のDYNAP-SE2ハードウェアに良好に一般化するモデルを生成できることを示すこと。

提案手法

• DYNAP-SE2のミックスドシグナルダイナミクスの可微分シミュレーションをDynapSimで実行し、時間経過に伴うアナログ回路の伝達関数を正確にモデル化する。
• スパイク関数が可微分でないため、バックプロパゲーションを可能にするために、サーロゲート勾配を用いる。これにより、スパイクニューロンを介したSNNパrameterの勾配ベース最適化が可能になる。
• JAXとジャストインタイム（JIT）コンパイルを統合したトレーニングパイプラインにより最適化を高速化し、トレーニング時間を数週間から数分に短縮する。
• 手動チューニングを必要とせず、トレーニング済みネットワークの重みをハードウェア互換設定にマップする非教師あり重み量子化手法を採用する。
• トレーニング中にパラメータノイズを注入することで、デバイス不一致や量子化効果に対する耐障害性を向上させる。
• 最終モデルは自動的にハードウェア構成に変換され、DYNAP-SE2チップにデプロイされ、推論が実行される。

実験結果

リサーチクエスチョン

• RQ1 複雑なアナログハードウェア制約を有するミックスドシグナルニューロモーラルプロセッサに、勾配ベースのトレーニングを効果的に適用できるか？
• RQ2 SNNトレーニング中にデバイス不一致や量子化といったハードウェアの非理想性をどのように軽減できるか？ これにより、耐障害性のあるデプロイメントが可能になるか？
• RQ3 ミックスドシグナルSNNダイナミクスの可微分シミュレーションは、正確かつ効率的なエンドツーエンドトレーニングをどの程度可能にするか？
• RQ4 JAX-JITコンパイルは、標準ハードウェア上で複雑なニューロンモデルのSNNトレーニングを顕著に高速化できるか？
• RQ5 非教師あり量子化とノイズ注入を組み合わせることで、実際のニューロモーラルハードウェアに良好に一般化するモデルが得られるか？

主な発見

• JAX-JITコンパイルを用いることで、トレーニング時間は1台のマシンで15日から6.5分にまで短縮され、3700倍の高速化を達成した。
• シミュレートされた出力、量子化された出力、ハードウェアで推論された出力の各発火レート（FRR）は、それぞれ1.1、1.2、1.9と高く一致しており、優れた一般化性能を示している。
• デバイス不一致や量子化の影響下でも、ネットワークは頑健な性能を維持した。クラス0とクラス1の出力ニューロン発火レートは、シミュレーション結果とハードウェア結果の間に最小限の乖離が見られた。
• DYNAP-SE2ハードウェアにデプロイした際、テストセットで100％の分類精度を達成した。これは信頼性の高い推論を示している。
• 非教師あり量子化手法により、手動キャリブレーションの必要性が排除され、SNNのハードウェアへの自動デプロイメントが可能になった。
• DynapSimシミュレータはDYNAP-SE2のダイナミクスを正確に再現し、ハードウェアデプロイの前段階で信頼性の高いオフライントレーニングと検証を可能にした。