[論文レビュー] Role of non-linear data processing on speech recognition task in the framework of reservoir computing

Flavio Abreu Araujo, Mathieu Riou+9 more|arXiv (Cornell University)|Jan 1, 2020

Neural Networks and Reservoir Computing参考文献 36被引用数 88

ひとこと要約

本論文は、リザボアコンピューティングハードウェアにおける非線形音響前処理が音声認識性能に与える影響を調査し、高い認識率の主な要因はリザボア自体ではなく、特徴抽出における非線形性であることを示している。磁気ナノオシレーターをニューロモルフィックハードウェアプラットフォームとして用い、前処理のみとの比較でリザボアの利得を定量的に評価した結果、線形スペクトログラムがハードウェアによる性能向上を最大限に得ており、MFCC やコッホレグラムといった非線形フィルタはすでにそれを必要としない近似最適性能に達していることがわかった。

ABSTRACT

The reservoir computing neural network architecture is widely used to test hardware systems for neuromorphic computing. One of the preferred tasks for bench-marking such devices is automatic speech recognition. This task requires acoustic transformations from sound waveforms with varying amplitudes to frequency domain maps that can be seen as feature extraction techniques. Depending on the conversion method, these transformations sometimes obscure the contribution of the neuromorphic hardware to the overall speech recognition performance. Here, we quantify and separate the contributions of the acoustic transformations and the neuromorphic hardware to the speech recognition success rate. We show that the non-linearity in the acoustic transformation plays a critical role in feature extraction. We compute the gain in word success rate provided by a reservoir computing device compared to the acoustic transformation only, and show that it is an appropriate bench-mark for comparing different hardware. Finally, we experimentally and numerically quantify the impact of the different acoustic transformations for neuromorphic hardware based on magnetic nano-oscillators.

研究の動機と目的

• リザボアコンピューティングにおける音声認識性能に寄与する音響前処理とニューロモルフィックハードウェアの寄与を分離・定量すること。
• さまざまな非線形周波数ドメイン変換が、リザボアに依存せずに認識成功率に与える影響を評価すること。
• 磁気ナノオシレーターを用いたニューロモルフィックハードウェアを、さまざまな前処理手法との比較によってベンチマークすること。
• 生物学的でないフィルタである線形スペクトログラムを用いた標準化・解釈可能なベンチマークを提供すること。

提案手法

• 周波数ドメインの前処理手法を4つ使用：コッホレグラム、MFCC、線形スペクトログラム（ℜ(Spectro)）、Spectro HP（|sin^p|ℜ(Spectro)|| − |cos^p|ℑ(Spectro)||）。
• TI-46 および AURORA-2 データセットを用いて、線形分類器を用いて前処理済み特徴量の単独性能を評価するための発話数字認識を実施した。
• 2000個の非線形磁気ノード（STNOs）からなるリザボアをシミュレートし、リザボア状態に対する線形回帰を用いてハードウェア寄与を評価した。
• リザボアの有無を比較することで、ニューロモルフィックハードウェアに起因する利得を計算した。
• 磁気ナノオシレーターからの実験結果とシミュレーションを照合し、良好な一致が得られた。
• クリアおよびノイズ混在の学習条件を併用し、クリアおよびノイズ混在のサブセットでテストすることで、耐障害性を評価した。

実験結果

リサーチクエスチョン

• RQ1 リザボアなしで使用されるさまざまな非線形音響前処理手法が、音声認識性能に与える影響は何か？
• RQ2 リザボアコンピューティングハードウェアと音響前処理の両者が、全体の認識精度に果たす相対的寄与は何か？
• RQ3 前処理手法の選択が、ニューロモルフィックハードウェアによる検出可能な性能向上に影響を与えるか？
• RQ4 コッホレグラムやMFCCモデルに依存しない、シンプルで生物学的でないフィルタ（例：Spectro HP）が、最先端の性能を達成できるか？
• RQ5 ノイズが、さまざまな前処理技術と組み合わせた際のリザボアの性能向上に与える影響は何か？

主な発見

• コッホレグラムは単独の特徴抽出器として95.8%の単語認識率を達成したが、MFCCは77.2%、Spectro HPは89.0%であった。これは強力な非線形特徴抽出を示している。
• 線形スペクトログラムは10%の認識率にとどまったが、非線形性を導入したSpectro HPでは88%に上昇した。これは非線形性が主因であることを証明している。
• クリアな数字データに対して、リザボアはMFCCフィルタに対して50.70%の認識率向上（42.26% → 92.96%）を示したが、コッホレグラムでは25.90%の向上（63.24% → 89.14%）にとどまった。
• ノイズ混在のAURORA-2データでは、MFCCフィルタが48.79%の向上（68.82% → 81.20%）を示したが、コッホレグラムでは23.02%の向上にとどまり、前処理が劣っている場合にリザボアがより大きな価値を提供することがわかった。
• 実験的磁気ナノオシレーターの結果はシミュレーションとよく一致しており、モデルの正確性がハードウェアベンチマークに適していることが検証された。
• 本研究は、線形スペクトログラムが、クラスの事前分離を回避するため、リザボアの寄与が明確に定義されるため、ハードウェア評価のためのクリーンなベンチマークを提供すると結論づけている。