[論文レビュー] Neural Population Coding for Effective Temporal Classification

Zihan Pan, Jibin Wu+3 more|arXiv (Cornell University)|Sep 12, 2019

Neural dynamics and brain function参考文献 44被引用数 7

ひとこと要約

本稿は、時間的パターン分類におけるスパイクニューラルネットワーク（SNN）のニューロン符号化方式を調査し、集団ベースのニューロン符号化——特にしきい値符号化と集団遅延符号化——が時間的情報を空間次元に投影することで線形分離可能性を実現することを示している。SVMおよびSNN分類器を用いて、集団符号化はTIDIGITSで95%、RWCPで100%の精度を達成した。これは、効果的な符号化が複雑な学習アルゴリズムよりも分類を容易にすることを示している。

ABSTRACT

Neural encoding plays an important role in faithfully describing the temporally rich patterns, whose instances include human speech and environmental sounds. For tasks that involve classifying such spatio-temporal patterns with the Spiking Neural Networks (SNNs), how these patterns are encoded directly influence the difficulty of the task. In this paper, we compare several existing temporal and population coding schemes and evaluate them on both speech (TIDIGITS) and sound (RWCP) datasets. We show that, with population neural codings, the encoded patterns are linearly separable using the Support Vector Machine (SVM). We note that the population neural codings effectively project the temporal information onto the spatial domain, thus improving linear separability in the spatial dimension, achieving an accuracy of 95\% and 100\% for TIDIGITS and RWCP datasets classified using the SVM, respectively. This observation suggests that an effective neural coding scheme greatly simplifies the classification problem such that a simple linear classifier would suffice. The above datasets are then classified using the Tempotron, an SNN-based classifier. SNN classification results agree with the SVM findings that population neural codings help to improve classification accuracy. Hence, other than the learning algorithm, effective neural encoding is just as important as an SNN designed to recognize spatio-temporal patterns. It is an often neglected but powerful abstraction that deserves further study.

研究の動機と目的

• SNNを用いた時間的パターン分類において、個々のニューロンと集団ベースの符号化方式の違いが及える影響を評価すること。
• 時間的パターンの空間的パターンとしての線形分離性を高める符号化方式を特定すること。
• 音声および音声認識の文脈において、さまざまなニューロン符号化戦略の生物学的妥当性と計算効率を評価すること。
• 集団符号化が時間的ダイナミクスを空間次元に投影することで、SNNの学習の複雑さが軽減されるかどうかを調査すること。
• 異なる符号化方式下でのSVMおよびSNNベースの分類器の性能を比較し、学習アルゴリズム設計とは独立して符号化の役割を特定すること。

提案手法

• TIDIGITSおよびRWCPデータセットのスペクトログラムを符号化するために、5つのニューロン符号化方式（遅延、位相、集団遅延、集団位相、しきい値）を採用した。
• 2つのベクトル化手法を適用した：(1) ニューロンごとの時間平均スパイクレート、(2) 全空間的・時間的スパイクパターン表現。
• 符号化されたパターンの線形分離可能性を評価するために、多クラスサポートベクターマシン（SVM）を用いた。
• 同じ符号化データを用いて、生物学的に妥当な学習フレームワークであるテンプロトロンベースのSNN分類器を訓練した。
• 符号化効率とエネルギー効果を評価するために、スパイクレートとスパarsity（疎らかさ）を測定した。
• 分類タスクとして、分離された数字認識（TIDIGITS）と環境音分類（RWCP）の両方を評価した。

実験結果

リサーチクエスチョン

• RQ1 どのニューロン符号化方式が時間的情報を空間次元に最も効果的に投影し、線形分離性を向上させるか？
• RQ2 集団符号化と個々のニューロン符号化の間で、分類精度とスパarsity（疎らかさ）の観点からどのように比較されるか？
• RQ3 集団符号化によって符号化されたパターンに、単純な線形分類器（SVM）を適用しても高い精度が達成可能か？
• RQ4 スパイクレートとしての符号化効率が、エネルギー効率の良いニューロモルフィック実装を可能にする役割は何か？
• RQ5 集団符号化が、学習アルゴリズムとは独立してSNNの学習タスクをどの程度簡素化できるか？

主な発見

• 集団ニューロン符号化、特にしきい値符号化と集団遅延符号化は、時間的パターンを拡張された空間次元に投影することで線形分離性を実現する。
• SVMを用いた場合、集団符号化はTIDIGITSデータセットで95%の精度、RWCPデータセットで100%の精度を達成し、高い線形分離性を示した。
• しきい値符号化は平均スパイクレートが1秒あたり12スパイク/ニューロンと最低であり、符号化効率が高くエネルギー節約に寄与した。
• 個々のニューロン符号化（遅延および位相）は十分な空間的情報を保持できず、線形分離性が低く、分類性能も劣った。
• SNNベースのテンプロトロン分類器の結果はSVMの結果とよく一致しており、集団符号化がSNNの分類精度を向上させることを確認した。これは、バックエンドの学習アルゴリズムに依存しない。
• 集団符号化による時間的ダイナミクスの空間次元への投影は、生物学的に妥当なメカニズムであり、分類タスクを顕著に簡素化する。