[論文レビュー] evt_MNIST: A spike based version of traditional MNIST

Mazdak Fatahi, Mahmood Ahmadi+3 more|arXiv (Cornell University)|Apr 22, 2016

Advanced Memory and Neural Computing参考文献 8被引用数 5

ひとこと要約

本論文では、ピクセルの強度をポアソン分布に従うスパイクトレインに変換することで、スパイキングニューラルネットワーク（SNN）と互換性のあるMNISTデータセットであるevt_MNISTを紹介する。ポアソン過程から得られる時間的スパイクパターンを活用することで、生物学的に妥当な条件下でのSNNの評価が可能となり、時間コード化スキームを用いたSNNの学習およびテストのベンチマークを提供する。

ABSTRACT

Benchmarks and datasets have important role in evaluation of machine learning algorithms and neural network implementations. Traditional dataset for images such as MNIST is applied to evaluate efficiency of different training algorithms in neural networks. This demand is different in Spiking Neural Networks (SNN) as they require spiking inputs. It is widely believed, in the biological cortex the timing of spikes is irregular. Poisson distributions provide adequate descriptions of the irregularity in generating appropriate spikes. Here, we introduce a spike-based version of MNSIT (handwritten digits dataset),using Poisson distribution and show the Poissonian property of the generated streams. We introduce a new version of evt_MNIST which can be used for neural network evaluation.

研究の動機と目的

• スパイキングニューラルネットワーク（SNN）の評価に適した標準化されたスパイクベースのデータセットの不足に対処すること。
• 時間コード化によるスパイクタイミングをサポートするMNISTのバージョンを構築し、生物学的ニューロンダイナミクスを反映すること。
• ポアソン分布から得られる不規則なスパイクパターンを用いて、SNNの学習および評価を可能にすること。
• 連続的な活性ではなくスパイク入力を必要とするSNNフレームワークと互換性のあるベンチマークデータセットを提供すること。

提案手法

• 各MNIST画像のピクセル強度を、強度に応じて平均発火レートが決定されるポアソン分布に従うスパイクトレインに変換する。
• 固定時間窓内で時間的に変化するポアソン過程を用いてスパイクトレインを生成し、入力ダイナミクスを保持する。
• 皮質ニューロン活動に特徴的な不規則さとばらつきをスパイクトレインに組み込む。
• 統計的検定を用いてスパイクストリームのポアソン性を検証し、時間的不規則性を確認する。
• 既存のSNN学習および推論フレームワークと互換性があることを保証する。
• SNN研究パイプラインへの容易な統合を可能にする標準フォーマットを提供する。

実験結果

リサーチクエスチョン

• RQ1 元の画像の意味的コンテンツを保持しつつ、時間的スパイクパターンによる符号化が可能なスパイクベースのMNISTのバージョンを生成できるか？
• RQ2 ポアソン過程を用いて生成されたスパイクトレインは、生物学的ニューロンスパイクの統計的性質と整合性を示すか？
• RQ3 従来のMNISTと比較して、evt_MNISTはSNN学習アルゴリズムの評価にどの程度有効なベンチマークとして機能するか？
• RQ4 ポアソン分布に従うスパイク入力を用いることで、SNNの性能および収束性にどの程度の影響が生じるか？
• RQ5 evt_MNISTは、異なるプラットフォームやアーキテクチャ間で信頼性があり再現可能なSNN研究のベンチマークとして機能できるか？

主な発見

• evt_MNISTデータセットは、ポアソン過程を用いて従来のMNIST画像をスパイクトレインに変換することに成功し、入力の意味的コンテンツを保持している。
• 統計的分析により、生成されたスパイクストリームがポアソン的特性を示しており、生物学的ニューロン活動と一致する不規則なインターファイル（ISI）を示していることが確認された。
• 本データセットにより、時間コード化を用いたSNNの直接的な評価が可能となり、連続値入力の代替として実用的である。
• evt_MNISTは、生物学的に妥当なスパイクタイミングを用いたSNNの学習およびテストを可能にし、神経形状コンputング研究における現実性を高めている。
• 本データセットは公開されており、既存のSNNフレームワークおよびベンチマークパイプラインへのシームレスな統合を目的として設計されている。
• 本アプローチにより、一貫した入力条件下でSNNアルゴリズムを比較するための標準的で再現可能なベンチマークが提供される。