[論文レビュー] Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network

Zaihu Pang, Fengyun Zhu|arXiv (Cornell University)|Sep 24, 2015

Speech and Audio Processing参考文献 20被引用数 9

ひとこと要約

本論文は、第3回CHiMEチャレンジ向けに、時間周波数マッピング（MSCに基づく多チャネルの大きさの二乗コherenceとPDM（位相差測定）を用いた音声強調と、RNNベースの音響モデルおよび判別的学習を組み合わせたノイズに強い自動音声認識（ASR）システムを提示する。このシステムは、実世界のテストデータにおいて、最良のベースライン比で57%の相対的WER削減を達成し、ラティス結合とRNNベースの再スコアリングにより最終的にWER14.28%にまで低下した。

ABSTRACT

In this paper, the Lingban entry to the third 'CHiME' speech separation and recognition challenge is presented. A time-frequency masking based speech enhancement front-end is proposed to suppress the environmental noise utilizing multi-channel coherence and spatial cues. The state-of-the-art speech recognition techniques, namely recurrent neural network based acoustic and language modeling, state space minimum Bayes risk based discriminative acoustic modeling, and i-vector based acoustic condition modeling, are carefully integrated into the speech recognition back-end. To further improve the system performance by fully exploiting the advantages of different technologies, the final recognition results are obtained by lattice combination and rescoring. Evaluations carried out on the official dataset prove the effectiveness of the proposed systems. Comparing with the best baseline result, the proposed system obtains consistent improvements with over 57% relative word error rate reduction on the real-data test set.

研究の動機と目的

• モバイルデバイスからの多チャネル音声を用いて、現実のノイズ環境に強いASRシステムを開発すること。
• 高度な音声強調技術とディープラーニング技術を統合することで、ノイズが多く、リバーブが強い状況下での音声認識性能を向上させること。
• モバイルデバイスにおけるマイク応答の不一致の問題に、自己適応キャリブレーション手法を用いて対処すること。
• ラティス結合と再スコアリングによる複数認識システムの統合により、認識精度を向上させること。

提案手法

• 時間周波数マッピングのフロントエンドは、多チャネルの大きさの二乗コherence（MSC）を用いて拡散ノイズを抑制し、位相差測定（PDM）を用いて方向性干渉源を抑制する。
• マイク応答の不一致を補正するため、適応的マイクアレイ自己キャリブレーション手法を採用する。
• 状態空間最小ベイズリスク（sMBR）判別的学習を用いて、LSTMPおよびマックスアウトネットを含むRNN音響モデルを学習する。
• 特徴量には、fMLLR変換を施したMFCCと、話者・チャネル・ノイズ状態をモデル化するオンラインiベクトルを用いる。
• 言語モデルには4-gramモデルにKneser-Neyスムージングを適用し、2次スコアリング用にRNN-最大エントロピー（RNNME）モデルを併用する。
• 最終的な認識結果は、複数システムの出力をラティス結合することで得られ、システムの耐障害性と精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 MSCおよびPDMに基づく時間周波数マッピングは、実世界の多チャネル録音におけるノイズ抑制にどの程度効果的か？
• RQ2 sMBR学習を施したRNNベース音響モデルは、ノイズが多く、遠方からの音声認識においてWERをどの程度改善できるか？
• RQ3 iベクトルとfMLLR特徴量の統合は、話者およびチャネルの変動に対する耐性をどの程度向上させるか？
• RQ4 ラティス結合とRNNMEモデルによる2段階再スコアリングにより、個々のシステム性能を超えてWERをさらに低減できるか？

主な発見

• 提案された音声強調フロントエンドは、強調済みデータにおいてベースライン比で12.81%の絶対的WER削減を達成した。
• 最良の性能を示したシステム（LSTMP+sMBR音響モデル、RNNME再スコアリング、ラティス結合を組み合わせ）は、実際のテストセットで最終的にWER14.28%を達成した。
• 実世界データでは、最良のベースライン比で57%以上の相対的WER削減を達成した（シミュレートデータでは42%）。
• fMLLR特徴量とiベクトルの併用は、すべての設定でFbank特徴量よりも一貫して性能向上をもたらした。
• sMBR判別的学習は、すべての音響モデルで一貫したWER改善をもたらし、LSTMP+sMBRはマックスアウトベースのモデルを上回った。
• 上位2つのシステム（LSTMP+sMBR および Maxout+dp+sMBR）のラティス結合にRNNME再スコアリングを適用した結果、最良の全体的性能が得られ、アンサンブル手法の有効性が裏付けられた。