[論文レビュー] Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition

Xin Zheng, Zhiyong Wu+3 more|arXiv (Cornell University)|Sep 23, 2013

Speech Recognition and Synthesis参考文献 12被引用数 6

ひとこと要約

本稿では、音声フレーム間の時間的相関を捉えることで、従来のMFCCよりも優れたロバスト音声認識特徴抽出を実現する多変量ガウス制限ボルツマンマシン（MGRBM）を提案する。Aurora2データセットにおける実験では、MGRBMで抽出した特徴がMFCCおよび標準的なGRBM特徴を上回り、特に低SNR条件下で顕著な性能向上を示し、ハイブリッドHMM-DNNモデルを用いた環境では、語彙誤り率（WER）が最大50％相対的に低減された。

ABSTRACT

In this paper, we first present a new variant of Gaussian restricted Boltzmann machine (GRBM) called multivariate Gaussian restricted Boltzmann machine (MGRBM), with its definition and learning algorithm. Then we propose using a learned GRBM or MGRBM to extract better features for robust speech recognition. Our experiments on Aurora2 show that both GRBM-extracted and MGRBM-extracted feature performs much better than Mel-frequency cepstral coefficient (MFCC) with either HMM-GMM or hybrid HMM-deep neural network (DNN) acoustic model, and MGRBM-extracted feature is slightly better.

研究の動機と目的

• 手作業で設計された特徴（例：MFCC）に依存しない深層表現学習手法の開発を目的とする。
• 従来のGRBMが音声フレーム間の時間的相関を十分にモデル化できないという制限を克服することを目的とする。
• 低SNRや背景ノイズなどの劣化した音声環境下でも認識精度を向上させることを目的とする。
• MGRBMを用いた教師なし特徴学習が、追加のラベル付きデータを必要とせずに、HMM-GMMおよびHMM-DNNシステムの性能を向上させることを実証することを目的とする。

提案手法

• 複数の連続フレームにわたる音声特徴の共分散構造をモデル化できるように設計された、ガウスRBMの新規な変種、すなわち多変量ガウスRBM（MGRBM）を提案する。
• トレーニングにはコントラストダイバージェンス（CD）アルゴリズムを用い、エネルギーに基づくモデルから条件付き確率を導出する：p(h_j=1|v) = sigmoid(b_j + Σ_i W_ij v_i / σ_i) および p(v_i|h) ~ N(a_i + σ_i Σ_j W_ij h_j, σ_i²)。
• HMM-GMMとの公平な比較のため、学習済み特徴の次元削減に主成分分析（PCA）を適用（39次元に）。ただし、情報損失を引き起こす。
• DNNのための事前学習にスタックオートエンコーダーを採用し、バックプロパゲーションによるファインチューニングを実施。隠れ層は全4層、各層1024ユニット。
• DNNへの入力として、MFCCの9フレームのコンテキスト（351次元）を用い、すべての入力を平均0、分散1に正規化する。
• Aurora2コーパスにおける複数のSNRレベルで語彙誤り率（WER）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 MGRBMのような深層生成モデルは、騒音環境下でも従来のMFCCよりもより判別性の高い音声特徴を学習できるか？
• RQ2 音声特徴のフレーム間共分散をモデル化することで、自動音声認識におけるロバスト性が向上するか？
• RQ3 さまざまなSNRレベルにおいて、MGRBMで抽出した特徴はMFCCおよび標準的なGRBM特徴と比較して、どのように性能を発揮するか？
• RQ4 MGRBMを用いた教師なし特徴学習は、追加のラベル付きデータを必要とせずに、HMM-GMMおよびHMM-DNNシステムの性能を向上させることができるか？

主な発見

• Aurora2コーパスにおいて、MGRBMで抽出した特徴は10dB SNRで15.79％のWERを達成し、MFCC（32.06％）およびGRBM特徴（25.85％）を上回った。
• 5dB SNRでは、MGRBMのWERは40.99％に低下したが、MFCCは59.75％、GRBM特徴は58.05％であった。MFCCと比較して31.5％の相対的改善が確認された。
• PCAによる次元削減（39次元）を経ても、MGRBM特徴はクリアな音声を除く全SNR条件下でMFCCを上回った。これは、情報損失に対して強いロバストネスを示している。
• SNRが低下するほど、MGRBMとGRBM特徴の性能差が拡大した。これは、MGRBMがノイズに強い表現をより効果的に捉えていることを示唆している。
• -5dB SNRの最も厳しい条件下でも、MGRBMは94.68％のWERを達成したが、MFCCは106.20％であった。MFCCと比較して10.9％の相対的改善が得られた。
• 結果から、MGRBMによる教師なし特徴学習が、すべてのノイズレベルで認識性能を向上させることを確認した。特に低SNR環境下での向上が顕著であった。