[論文レビュー] A simple and efficient SNN and its performance & robustness evaluation method to enable hardware implementation.

Anmol Biswas, Sidharth Kumar Prasad+2 more|arXiv (Cornell University)|Dec 7, 2016

Advanced Memory and Neural Computing参考文献 9被引用数 12

ひとこと要約

本稿では、シナプス-ニューロン共同設計とパラダイムコードによる効率的なハードウェアマッピングを実現するシンプルな2層SNN（スパイクニューラルネットワーク）を提案する。0.98の相関を持つ計算効率の高いメトリック指標（標準テスト比15,000倍速）を導入し、ノイズ耐性指標を用いた迅速なロバストネス評価を可能にした。これにより、ベンチマークデータセット上での従来SNNと比較して30倍少ない学習エポック数、3.5倍少ないシナプス数を達成した。

ABSTRACT

Spiking Neural Networks (SNN) are more closely related to brain-like computation and inspire hardware implementation. This is enabled by small networks that give high performance on standard classification problems. In literature, typical SNNs are deep and complex in terms of network structure, weight update rules and learning algorithms. This makes it difficult to translate them into hardware. In this paper, we first develop a simple 2-layered network in software which compares with the state of the art on four different standard data-sets within SNNs and has improved efficiency. For example, it uses lower number of neurons (3 x), synapses (3.5 x) and epochs for training (30 x) for the Fisher Iris classification problem. The efficient network is based on effective population coding and synapse-neuron co-design. Second, we develop a computationally efficient (15000 x) and accurate (correlation of 0.98) method to evaluate the performance of the network without standard recognition tests. Third, we show that the method produces a robustness metric that can be used to evaluate noise tolerance.

研究の動機と目的

• クロスバーアレイ実装に適した最小限で複雑性の低いハードウェアフレンドリーなSNNの設計。
• 従来のSNN性能評価における計算ボトルネックを克服し、より高速で正確な代替手法を開発すること。
• 新規評価手法によって可能になった確率的シミュレーションを用いて、ノイズに対するネットワークのロバストネスを定量化および評価すること。
• 追加の学習エポックが性能向上に寄与しない一方でノイズ耐性を著しく向上させることを示し、ロバストネス指標の妥当性を検証すること。

提案手法

• 入力層と出力層のみを有する2層SNNを設計し、入力特徴量を正規化された電流レベルにパラダイムコードでマッピングする。
• 入力ニューロンから出力ニューロンへの興奮性接続と、ラテラル抑制性シナプスを導入し、「勝者1体」のスパイクルールを強制する。
• 教師ありヘブシアン学習を適用し、学習中に誤った出力ニューロンの発火を抑制するための負のバイアス電流を導入する。
• 出力電流空間におけるクラス平均の分離度に基づくメトリック指標を提案し、DCに類似した解析により計算する。
• 分類精度の代理指標としてメトリック指標を用い、標準認識テストと0.98の相関関係を確認した。
• 学習済み重みに平均0のガウスノイズを導入した確率的シミュレーションを実施し、ノイズ耐性を評価するとともにロバストネス指標を導出する。

実験結果

リサーチクエスチョン

• RQ1 最小限の2層SNNは、顕著に複雑性を低減した上で、標準SNNベンチマークで最先端の性能を達成できるか？
• RQ2 SNNにおける標準的な一時的認識テストに代わる、計算効率の高い代替メトリックを開発できるか？
• RQ3 提案されたメトリック指標は、異なる学習段階において実際の分類精度と強く相関するか？
• RQ4 学習エポックの増加がノイズ耐性に与える影響はどの程度で、その影響はロバストネス指標によって定量的に評価可能か？
• RQ5 新規評価手法により、ハードウェアマッピング済みSNNにおけるロバストネス分析のための確率的シミュレーションが高速化可能か？

主な発見

• 提案SNNは、フィッシャーのアヤメデータセット上での従来SNNと比較し、3倍少ないニューロン数、3.5倍少ないシナプス数、30倍少ない学習エポック数を達成しながらも、競争力ある性能を維持した。
• メトリック指標は標準分類精度と強く相関（R = 0.98）しており、15,000倍の計算コスト削減で信頼性の高い性能推定が可能となった。
• 本手法により迅速な確率的シミュレーションが実現され、ウィsコン・ブラスト・カセオロマデータセットにおける評価時間は、約150秒から約0.01秒に短縮された。
• 14エポック学習後、1エポック学習と比較してロバストネス指標が2.5倍高く、ノイズ耐性（90%の正確性を維持する際のσ = 100 vs. σ = 50）が2倍向上した。
• 追加の学習による性能向上は限定的（93% → 96%の正確性）であったが、ロバストネスは顕著に向上した。これは、ロバストネスが精度単体よりも学習品質の指標として優れていることを示唆している。
• メトリック指標とロバストネス指標を併用することで、ハードウェアマッピングおよびフォールトトレランス解析のための効率的で正確かつスケーラブルなSNN評価が可能になった。