[論文レビュー] Estimating Phoneme Class Conditional Probabilities from Raw Speech Signal using Convolutional Neural Networks

Dimitri Palaz, Ronan Collobert+1 more|arXiv (Cornell University)|Apr 3, 2013

Speech Recognition and Synthesis被引用数 4

ひとこと要約

この論文では、従来の特徴抽出を回避して、生の音声信号からフォネムクラスの条件付き確率を直接推定する畳み込みニューラルネットワーク（CNN）を提案する。この手法は、従来のMFCCベースのシステムと同等またはそれ以上のフォネム認識精度を達成しており、CNNが生の音声データから関連する音響特徴を自動で学習できることを示している。

ABSTRACT

In hybrid hidden Markov model/artificial neural networks (HMM/ANN) automatic speech recognition (ASR) system, the phoneme class conditional probabilities are estimated by first extracting acoustic features from the speech signal based on prior knowledge such as, speech perception or/and speech production knowledge, and, then modeling the acoustic features with an ANN. Recent advances in machine learning techniques, more specifically in the field of image processing and text processing, have shown that such divide and conquer strategy (i.e., separating feature extraction and modeling steps) may not be necessary. Motivated from these studies, in the framework of convolutional neural networks (CNNs), this paper investigates a novel approach, where the input to the ANN is raw speech signal and the output is phoneme class conditional probability estimates. On TIMIT phoneme recognition task, we study different ANN architectures to show the benefit of CNNs and compare the proposed approach against conventional approach where, spectral-based feature MFCC is extracted and modeled by a multilayer perceptron. Our studies show that the proposed approach can yield comparable or better phoneme recognition performance when compared to the conventional approach. It indicates that CNNs can learn features relevant for phoneme classification automatically from the raw speech signal.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が、フォネム分類のための関連する音響特徴を、生の音声信号から直接学習できるかどうかを調査すること。
• CNNフレームワーク内で、生の音声入力と従来のMFCCベースの特徴との間で性能を比較すること。
• 条件付きランダムフィールド（CRF）を用いた判別的デコードと生成的HMMデコードの間で、フォネム認識精度に与える影響を評価すること。
• マックスプーリング層がモデルの汎化性能を向上させ、パラメータ数を削減する貢献度を評価すること。

提案手法

• システムは、生の音声波形を直接入力として処理する、複数の畳み込み層およびプーリング層を備えた深層CNNアーキテクチャを採用する。
• ネットワークは、TIMITフォネム認識タスクにおいて交差エントロピー損失を用いて、フォネムクラスの条件付き確率を予測するように学習される。
• 逐次的なフォネム間の依存関係をモデル化するために、CRFベースのデコードアルゴリズムが適用され、HMMデコードよりも認識精度が向上した。
• 最初の畳み込み層のフィルタを分析して、その学習された周波数応答特性を理解する。
• MFCC特徴を用いたベースラインMLPと標準HMMデコードを用いたモデルと比較する。
• フィルタサイズ、プーリング、ネットワークの深さなどのハイパーパrameterを調整して、過学習を抑えるとともに性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 生の音声信号を用いて学習したCNNは、MFCCのような手作業で設計された特徴を用いたシステムと比較して、競争力のあるフォネム認識性能を達成できるか？
• RQ2 マックスプーリング層は、認識精度の向上とモデル複雑度の低減にどの程度寄与しているか？
• RQ3 フォネム認識精度の観点から、CRFベースのデコードとHMMベースのデコードの間には、どのような差があるか？
• RQ4 CNNの最初の畳み込み層で学習されたフィルタは、フォネム分類に関連する意味のある周波数帯域に対応しているか？

主な発見

• 生の音声入力を利用したCNNモデルは、TIMITコアテストセットで67.88%のフォネム認識精度を達成し、生の入力を使ったベースラインMLP（38.91%）を上回り、MFCCベースのシステムの性能に近づいた。
• 同じCNNアーキテクチャを用いてMFCC特徴を入力にした場合、HMMデコードを用いることで70.52%の精度を達成し、生の入力よりもわずかに優れたが、差は小さかった。
• CRFデコード戦略により、生の入力では69.47%、MFCC特徴では71.80%の認識精度が得られ、判別的デコードが生成的HMMデコードよりも性能を向上させることを示した。
• マックスプーリング層の削除により、精度は67.60%から64.96%に低下し、パrameter数も増加した。
• 最初の畳み込み層のフィルタは明確な周波数応答特性を学習しており、知覚的に関連する音声帯域にチューニングされたバンドパスフィルタとして機能していると考えられる。
• 結果から、深層CNNが生の音声から効果的な表現を自動で学習でき、手作業で設計された特徴への依存を低減できることを示している。