[論文レビュー] Direct training based spiking convolutional neural networks for object recognition.

Shibo Zhou, Ying Chen+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、時間コードを用いた直接学習ベースのスパイク畳み込みニューラルネットワーク（SCNN）を提案し、最小限の学習可能なパラメータで高い物体認識精度を達成する。MNISTでは99.13%、CIFAR-10では80.49%の精度を達成し、時間コードを用いた直接学習可能なSNNにおいて最先端の性能を示すが、変換ベースの手法と比較して顕著にパラメータ数を削減している。

ABSTRACT

Direct training based spiking neural networks (SNNs) have been paid a lot of attention recently because of its high energy efficiency on emerging neuromorphic hardware. However, due to the non-differentiability of the spiking activity, most of the related SNNs still cannot achieve high object recognition accuracy for the complicated dataset, such as CIFAR-10. Even though some of them can reach the accuracy of 90%, the energy consumption in those networks is very high. Considering this, we propose a direct supervised learning based spiking convolutional neural networks (SCNNs) using temporal coding scheme in this study, aiming to exploit minimum trainable parameters to recognize the object in the image with high accuracy. The MNIST and CIFAR-10 datasets are used to evaluate the performance of the proposed networks. For the MNIST dataset, the proposed networks with noise input are able to reach the high recognition accuracy (99.13%) as the other state-of-art models but use the much less trainable parameters than them. For CIFAR-10 dataset, the proposed networks with data augmentation step can reach the recognition accuracy of 80.49%., which is the state-of-art high accuracy in the field of direct training based SNNs using temporal coding manner. In addition, the number of trainable parameters used in such networks is much less than that in the conversion based SCNNs reported in the literature.

研究の動機と目的

• CIFAR-10のような複雑なデータセットにおいて、直接学習ベースのスパイクニューラルネットワーク（SNN）の低精度という課題に対処すること。
• SNNにおける学習可能なパラメータ数を削減することで、エネルギー効率とスケーラビリティを向上させること。
• 直接教師あり学習フレームワークにおいて時間コードを用いて高い物体認識精度を達成すること。
• 特に変換ベースのアプローチと比較して、パラメータ数を最小限に抑えながら、既存の直接学習SNNを上回る精度を達成すること。
• 最小限の学習可能なパラメータで標準ベンチマーク上で高精度なSNNが実現可能であることを実証すること。

提案手法

• 人工ニューラルネットワーク（ANN）への変換を経由せずに、直接教師あり学習アプローチを用いてスパイク畳み込みニューラルネットワーク（SCNN）を学習する。
• 入力データを時間的スパイクのタイミングにエンコードする時間コード方式を採用する。
• MNISTでの汎化性能とロバストネスを向上させるために、学習中にノイズ入力を導入する。
• より複雑なCIFAR-10データセットにおける性能向上のため、データ拡張技術を適用する。
• 非微分可能なスパイクニューロンに対処するため、バックプロパゲーションスルータイム（BPTT）または類似の微分可能代替勾配を最適化に用いる。
• スパイクダイナミクスに適したコンactなネットワークアーキテクチャを設計することで、学習可能なパラメータ数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 直接学習ベースのSNNに時間コードを適用することで、ANNへの変換を経ずにMNISTおよびCIFAR-10で高い精度を達成できるか？
• RQ2 学習中にノイズ入力を導入することで、提案SNNの汎化性能と精度にどのような影響を与えるか？
• RQ3 高い認識性能を維持しつつ、学習可能なパラメータ数をどの程度まで削減できるか？
• RQ4 提案手法の直接学習SNNは、最先端の変換ベースSNNと比較して、精度とパラメータ効率の面でどの程度優れているか？
• RQ5 データ拡張は、CIFAR-10のような複雑なデータセットにおける直接学習可能なSNNの性能向上に寄与するか？

主な発見

• 提案SNNはMNISTデータセットで99.13%の認識精度を達成し、最先端のモデルと同等の性能を示すが、学習可能なパラメータ数は顕著に少ない。
• CIFAR-10データセットでは80.49%の精度に到達し、時間コードを用いた直接学習SNNの中で最先端の性能を示している。
• 提案ネットワークの学習可能なパラメータ数は、文献に報告された変換ベースのSCNNと比較して顕著に少ない。
• 学習中にノイズ入力を導入することで、モデルのロバストネスが向上し、MNISTでの高精度に寄与している。
• データ拡張は、より複雑なCIFAR-10データセットにおける直接学習可能なSNNの高性能を達成するために不可欠である。
• 提案手法は、直接学習と時間コードを用いることで、極めて少ないパラメータ数で高精度なSNNが実現可能であることを示している。