[論文レビュー] Theory and Tools for the Conversion of Analog to Spiking Convolutional Neural Networks

Bodo Rueckauer, Iulia-Alexandra Lungu+2 more|arXiv (Cornell University)|Dec 13, 2016

Advanced Memory and Neural Computing参考文献 19被引用数 103

ひとこと要約

この論文はANN-to-SNN変換の理論を開発し、CNN（バイアス、バッチ正規化、最大プーリング、ソフトマックスを含む）をほぼ損失ゼロに近いSNNへ変換する実用ツールを導入し、CIFAR-10とMNISTで最先端の結果を達成する。

ABSTRACT

Deep convolutional neural networks (CNNs) have shown great potential for numerous real-world machine learning applications, but performing inference in large CNNs in real-time remains a challenge. We have previously demonstrated that traditional CNNs can be converted into deep spiking neural networks (SNNs), which exhibit similar accuracy while reducing both latency and computational load as a consequence of their data-driven, event-based style of computing. Here we provide a novel theory that explains why this conversion is successful, and derive from it several new tools to convert a larger and more powerful class of deep networks into SNNs. We identify the main sources of approximation errors in previous conversion methods, and propose simple mechanisms to fix these issues. Furthermore, we develop spiking implementations of common CNN operations such as max-pooling, softmax, and batch-normalization, which allow almost loss-less conversion of arbitrary CNN architectures into the spiking domain. Empirical evaluation of different network architectures on the MNIST and CIFAR10 benchmarks leads to the best SNN results reported to date.

研究の動機と目的

• スパイキングニューラルネットワーク（SNN）による高速でエネルギー効率の高い推論の必要性を動機づける。
• SNNの発火レートがReLU活性化を近似する方法の理論的基盤を提供する。
• バイアス、バッチ正規化、最大プーリング、ソフトマックスなど一般的なCNN機能を含む変換ツールを拡張する。
• CIFAR-10とMNISTのベンチマークでほぼ損失ゼロに近いANN-to-SNN変換を実証する。

提案手法

• ANN活性化とSNN発火レートを関連づける膜動作とリセット動態を導出し、 reset-by-subtraction によるリセットが unbiased approximators を生み出すことを示す。
• バイアスを扱うための重み正規化の一般化（max-norm およびロバストなパーセンタイルベース正規化）。
• BN層の変換を追加の手順なしに有効にするために、バッチ正規化の影響を重みに統合する。
• 最初の隠れ層へのアナログ入力を有効にして低活性領域を改善する。
• 競合的なソフトマックス決定のため、外部ポアソン発生器を用いたスパイキングソフトマックスを導入する。
• オンライン発火レート推定に基づくゲーティングを用いたスパイキング最大プーリングを提案する。

実験結果

リサーチクエスチョン

• RQ1 現実的なスパイキングダイナミクスの下で、ANN活性化はSNN発火レートによって正確に近似できるか？
• RQ2 バイアス、BN、最大プーリング、ソフトマックスを大きな損失なく含めるようにANN-to-SNN変換をどう拡張できるか？
• RQ3 妥当な待ち時間を維持しつつ、変換後の精度を最大化する正規化戦略は何か？
• RQ4 大規模ネットワークで最初の隠れ層へのアナログ入力は変換性能を改善するか？
• RQ5 一般的な CNN コンポーネントをスパイキング領域へ変換した際の精度と遅延への影響は何か？

主な発見

• CIFAR-10 に対してほぼ損失ゼロに近い変換が達成可能（最良は ~87.62–87.82%、正規化と入力戦略に応じて）。
• reset-by-subtraction は ANN-to-SNN の近似を改善し、より深いネットワークが ANN の精度に近づくことを可能にする。
• 最初の隠れ層へのアナログ入力は CIFAR-10 の結果を劇的に改善し、特定の設定で最大 83.6%、堅牢な正規化で 87.62%。
• パーセンタイルベースのスケール（例: 99th–99.9th パーセンタイル）を用いた頑健な重み正規化は、過少発火を回避しつつ飽和を抑制する点で最大活性化正規化を上回る。
• MNIST では max-pooling を有する7層ネットワークの変換後精度が 99.44% を達成し、従来の SNN 結果を上回る。
• CIFAR-10 では提案手法により、4-畳み込み層 CNN を変換すると最終的な SNN 精度が ANN 基準に近い（87.86% ANN → 約87.6–87.8% SNN）。