[論文レビュー] An efficient and perceptually motivated auditory neural encoding and decoding algorithm for spiking neural networks

Zihan Pan, Yansong Chua+4 more|arXiv (Cornell University)|Sep 3, 2019

Hearing Loss and Rehabilitation参考文献 61被引用数 5

ひとこと要約

本稿では、人間の聴覚認識を模倣して、音声をスパarsな効率的なスパイクパターンに変換する生物学的に妥当な聴覚符号化（BAE）方式を提案する。コッホラスフィルターバンク、聴覚マスキング、人間の生理にインspiredされたスパイク符号化を統合することで、BAEは高精度な音声再構成とSNNベースの音声認識における頑健な性能を実現し、Spike-TIDIGITSおよびSpike-TIMITの2つの公開スパイクベースデータセットの作成に貢献した。

ABSTRACT

Auditory front-end is an integral part of a spiking neural network (SNN) when performing auditory cognitive tasks. It encodes the temporal dynamic stimulus, such as speech and audio, into an efficient, effective and reconstructable spike pattern to facilitate the subsequent processing. However, most of the auditory front-ends in current studies have not made use of recent findings in psychoacoustics and physiology concerning human listening. In this paper, we propose a neural encoding and decoding scheme that is optimized for speech processing. The neural encoding scheme, that we call Biologically plausible Auditory Encoding (BAE), emulates the functions of the perceptual components of the human auditory system, that include the cochlear filter bank, the inner hair cells, auditory masking effects from psychoacoustic models, and the spike neural encoding by the auditory nerve. We evaluate the perceptual quality of the BAE scheme using PESQ; the performance of the BAE based on speech recognition experiments. Finally, we also built and published two spike-version of speech datasets: the Spike-TIDIGITS and the Spike-TIMIT, for researchers to use and benchmarking of future SNN research.

研究の動機と目的

• 人間の心理聴覚および聴覚生理学の最新の知見を活用したSNN向けの聴覚フロントエンドの開発を目的とする。
• 音声信号からスパarsで効率的かつ再構成可能なスパイクパターンを生成することで、SNNの計算負荷を低減することを目的とする。
• より生物学的に現実的な符号化方式を用いることで、SNNの音声認識タスクにおける性能を向上させることを目的とする。
• 標準化されたスパイクベース音声データセット（Spike-TIDIGITSおよびSpike-TIMIT）の作成とリリースを目的とし、将来のSNN研究のベンチマークを提供することを目的とする。

提案手法

• BAE方式は、コッホラス周波数フィルターバンクを用いて人間の聴覚系を模倣する。
• MPEG-1 Layer III標準から導出された心理的聴覚マスキング効果を統合し、知覚的に不要な成分を抑制する。
• 15個の均等に分布したしきい値を基準に、スパイク発火の閾値超過イベントを用いて時間的スパイクパターンを生成する。
• 内髄細胞の転導および聴神経スパイク符号化を統合し、レートコードスパイク出力を得る。
• 冗長なスパイクを最小限に抑えつつ、知覚的に重要なダイナミクスを保持することで、計算効率を向上させる。
• 得られたスパイクパターンを用いて、SNNの音声認識タスクにおける学習と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 生物学的にインスピレーションを受ける聴覚符号化方式は、SNNベースの音声処理の効率性と有効性を向上させ得るか？
• RQ2 スパイク符号化に聴覚マスキングを組み込むことで、知覚的品質および認識性能がどの程度維持されるか？
• RQ3 BAEで生成されたスパイクパターンは、従来の表現と比較して再構成性およびSNN分類精度の点でどのように異なるか？
• RQ4 提案された符号化手法は、TIMITのような連続音声データセットでも高性能なSNNを実現可能か？
• RQ5 スパイクパターンのスパars性および時間的構造は、SNNの学習および推論にどのような影響を及えるか？

主な発見

• BAE符号化は高い知覚的品質を達成し、PESQスコアがほぼ透明な音声再構成忠実度を示した。
• BAE符号化データで学習されたSNNは、音声認識タスクで優れた性能を示し、符号化方式の有効性を裏付けた。
• 聴覚マスキングによりスパイク数が顕著に削減されたが、膜電位の軌跡およびスパイク出力に類似性が認められ、神経応答ダイナミクスに劣化は見られなかった。
• BAEで生成されたスパイクパターンは、低スパイクレートでも分類に必要な重要な時間的およびスペクトル的特徴を保持していた。
• Spike-TIDIGITSおよびSpike-TIMITデータセットが正常に作成され、SNN研究のための公開ベンチマークとしてリリースされた。
• 結果から、BAEは計算負荷を低減しつつ認識精度を維持する効率的で知覚的動機付けされた符号化を可能にすることが示唆された。