[論文レビュー] A Faster Approach to Spiking Deep Convolutional Neural Networks

Shahriar Rezghi Shirsavar, Mohammad‐Reza A. Dehaqani|arXiv (Cornell University)|Oct 31, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文では、1回のトレーニングイテレーション、PCAに基づく次元削減、重みのバイナリ化、分類のためのタイムド出力、およびRGB画像のための改善された前処理を統合することで、より高速かつ高精度なスパイクニューラルネットワーク（SNN）を提案する。この手法はMNISTで99.421% ± 0.033の精度を達成し、ETH-80でResNetを上回り、生物学的妥当性を保ちながら顕著な速度および精度の向上を示している。

ABSTRACT

Spiking neural networks (SNNs) have closer dynamics to the brain than current deep neural networks. Their low power consumption and sample efficiency make these networks interesting. Recently, several deep convolutional spiking neural networks have been proposed. These networks aim to increase biological plausibility while creating powerful tools to be applied to machine learning tasks. Here, we suggest a network structure based on previous work to improve network runtime and accuracy. Improvements to the network include reducing training iterations to only once, effectively using principal component analysis (PCA) dimension reduction, weight quantization, timed outputs for classification, and better hyperparameter tuning. Furthermore, the preprocessing step is changed to allow the processing of colored images instead of only black and white to improve accuracy. The proposed structure fractionalizes runtime and introduces an efficient approach to deep convolutional SNNs.

研究の動機と目的

• 実行時間と性能を向上させることで、スパイクニューラルネットワーク（SNN）とディープニューラルネットワーク（DNN）の間の精度および速度のギャップを埋めること。
• 生物学的にインスパイアされた学習ルールと符号化方式を用いることで、SNNの高い精度を維持しながら生物学的妥当性を向上させること。
• バイナリ重みとスパイクベースの計算を用いることで、ニューロモルフィックハードウェアへの効率的なデプロイを可能にすること。
• 色付き画像処理へのSNNの拡張を図り、従来のグレースケールのみのアプローチを上回る精度を向上させること。
• トレーニングを1イテレーションに制限することで、計算効率を向上させるためにトレーニングの複雑さを低減すること。

提案手法

• 入力信号の時間的符号化にランク順符号化を用いた、リークイントグレート・アンド・ファイア（LIF）ニューロンを使用する。
• スパイク時刻依存可塑性（STDP）を用いて、畳み込み層で非教師ありで生物学的に妥当な学習を実現する。
• トレーニングの高速化と計算負荷の低減を目的として、主成分分析（PCA）を次元削減に用いる。
• シナプス重みをバイナリ値（±1）に量子化することで、メモリ使用効率の向上と高速なバイナリ乗算を実現する。
• タイムド出力分類を採用し、スパイク数が最も多い、または最初に発火するニューロンがクラスを決定する。
• RGB画像のサポートを向上させるために、色空間をHSVに変換することで、入力前処理を強化し、特徴表現と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1回のトレーニングイテレーションSNNは、最先端のDNNと同等の高精度を達成しつつ、生物学的妥当性を保つことができるか？
• RQ2 PCAに基づく次元削減は、深層SNNの実行時間と精度にどのように影響するか？
• RQ3 HSV変換によるRGB画像処理は、ベンチマークデータセットにおけるSNNの性能をどの程度向上させるか？
• RQ4 バイナリ重みとスパイクベースの計算は、ニューロモルフィックハードウェアでより高速な推論と低消費電力を実現できるか？
• RQ5 提案されたSNNは、ETH-80データセットにおいてResNetと比較して、精度と実行時間の点でどのように差がつくか？

主な発見

• 提案されたSNNは、1回のトレーニングイテレーションとRBFカーネルを用いたSVMを用いて、MNISTデータセットで99.421% ± 0.033の精度を達成した。
• ETH-80データセットでは、HSV前処理を施したSNNが90.166%の精度を示し、ベースラインのResNet-50（86.585%）を顕著に上回った。
• LoGフィルタリングの代わりにZCAホワイトニングを用いることで、1サンプルあたり7.447–11.886 msの合計実行時間が短縮されたが、同等の精度を維持した。
• ETH-80において、グレースケール画像からRGB（HSV）画像に切り替えることで、SNNの精度が6.402%（72.378%から78.780%）向上した。
• LoGとZCAホワイトニングの間の精度差の95%信頼区間は[-0.841, 2.108]であり、ZCAを用いても精度に顕著な低下がないことが示された。
• ネットワークの性能は、微調整を施したResNet-50と同等であり、精度および実行時間の点で有意差は認められなかった（95%信頼区間：[-1.83, 5.874]および[-1.665, 1.665]）。