[論文レビュー] Noise Robust IOA/CAS Speech Separation and Recognition System For The Third 'CHIME' Challenge

Xiaofei Wang, Chao Wu+6 more|arXiv (Cornell University)|Sep 21, 2015

Speech and Audio Processing参考文献 8被引用数 6

ひとこと要約

本論文は、第3回CHiMEチャレンジ向けに、ノイズに強い音声分離および認識システムを提示する。フロントエンドでは、音声歪み重み付きマルチチャネルウィーナー・フィルタ（SDW-MWF）を採用し、バックエンドでは深層ニューラルネットワーク（DNN、CNN、LSTM）とラティス再スコアリングを組み合わせた。このシステムは、実データ上で33.23%のGMMベースラインを大幅に上回り、13.2%のWERを達成し、相対的に60.9%のWER削減を達成した。

ABSTRACT

This paper presents the contribution to the third 'CHiME' speech separation and recognition challenge including both front-end signal processing and back-end speech recognition. In the front-end, Multi-channel Wiener filter (MWF) is designed to achieve background noise reduction. Different from traditional MWF, optimized parameter for the tradeoff between noise reduction and target signal distortion is built according to the desired noise reduction level. In the back-end, several techniques are taken advantage to improve the noisy Automatic Speech Recognition (ASR) performance including Deep Neural Network (DNN), Convolutional Neural Network (CNN) and Long short-term memory (LSTM) using medium vocabulary, Lattice rescoring with a big vocabulary language model finite state transducer, and ROVER scheme. Experimental results show the proposed system combining front-end and back-end is effective to improve the ASR performance.

研究の動機と目的

• レストラン、バス、街中などのノイズの多い現実世界環境における自動音声認識（ASR）性能の向上を目的とする。
• 最適化されたフロントエンドを用いて、マルチチャネル音声強調におけるノイズ低減と音声歪みのトレードオフを最適化することを目的とする。
• 大規模語彙言語モデルを用いたラティス再スコアリングと深層学習モデル（DNN、CNN、LSTM）を用いて、バックエンドASRの耐ノイズ性を向上させることを目的とする。
• 現実的なノイズ条件下で、第3回CHiME音声分離および認識チャレンジにおいて最先端の性能を達成することを目的とする。

提案手法

• ノイズ低減と音声歪みのトレードオフを最適化するために、調整可能なパrameter μ を用いた音声歪み重み付きマルチチャネルウィーナー・フィルタ（SDW-MWF）を用いて、望ましい音声信号を推定した。
• 最適化基準として、期待値の最小化を用い、式：min E{|w^H y - X1|^2 + μ|w^H n|^2} で表される、音声歪みの期待値と重み付きノイズパワーの和を最小化した。
• 訓練データおよびテストデータの両方に対してSDW-MWFを適用し、訓練とテストの不一致を低減した。データ拡張のため、ランダムなSNR摂動（-6dB から +6dB）を用いた。
• DNN、CNN、LSTM音声モデルを用いて、エンドツーエンドの音声モデル化を実装し、DNNとCNNがGMMベースラインを上回る優れた性能を示した。
• 大規模語彙有限状態トランスダクタ言語モデルを用いて、ラティス再スコアリングを実装し、仮説出力を精緻化した。
• ROVER（認識出力投票誤り低減）方式を用いて、複数のシステム出力を統合し、最終的な認識精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 マルチチャネル音声強調において、ノイズ低減と音声歪みのトレードオフをどのように最適化できるか？
• RQ2 従来のGMM-HMMシステムと比較して、深層ニューラルネットワーク（DNN、CNN、LSTM）は、ノイズが多く reverberant な環境下でASR性能をどの程度向上できるか？
• RQ3 大規模語彙言語モデルを用いたラティス再スコアリングは、ノイズのある音声認識で語誤り率（WER）をさらに低減できるか？
• RQ4 ROVERを用いて複数のニューラルネットワークベースのシステムを統合することで、実世界のテストデータセットにおける全体のASR性能はどの程度向上するか？

主な発見

• SDW-MWFフロントエンドは、GMMモデル下で実テストデータ上で37.36%（MVDRベースライン）から23.19%へWERを低減し、制御された歪みの下で顕著なノイズ抑制効果を示した。
• sMBR学習を用いたDNNとランダムSNRデータ拡張を組み合わせることで、実テストデータ上でWERが18.4%まで低下し、ノイズ環境下での深層学習の有効性を示した。
• CNNベースの音声モデルはWERを17.87%までさらに低下させ、LSTMは18.96%のWERを達成した。これは、再帰的および畳み込みネットワークが時間的・スペクトル的特徴をより効果的にモデル化できることを示している。
• ラティス再スコアリングにより、DNN+sMBRでは18.4%から15.3%へ、CNN+sMBRでは17.87%から16.37%へWERが低下し、ASR出力の精緻化に有効であることが証明された。
• 最終的なシステムでは、ラティス再スコアリングを施したDNN、CNN、LSTMシステムのROVER統合により、実テストデータ上で13.2%のWERを達成し、最高のGMMベースライン（33.23%）と比較して相対的に60.9%の削減を達成した。
• 最良の単一システム（DNN+sMBR＋ラティス再スコアリング）は、バス環境で17.74%、カフェで11.75%、歩行者エリアで13.34%、ストリート・ジャンクションで9.96%のWERを達成し、環境にかかわらず高い耐性を示した。