[論文レビュー] Design and Optimization of a Speech Recognition Front-End for Distant-Talking Control of a Music Playback Device

Ramin Pichevar, Jason Wung+2 more|arXiv (Cornell University)|May 5, 2014

Speech and Audio Processing参考文献 37被引用数 3

ひとこと要約

本稿では、遠距離話者の制御を目的とした耐障害性の高い単一マイク音声認識フロントエンドを提案する。エコーキャンセリング、ダブルトーク検出、ノイズ抑制のための新規な適応的準2値マスクを段階的に組み合わせたものである。遺伝的アルゴリズムを用いて認識精度を最大化するように最適化された本システムは、音声対音楽比が-35 dBにまで低下する状況でも90%を超えるコマンド認識率を達成し、極めて厳しい音響条件下でも信頼性の高い音声制御を可能にする。

ABSTRACT

This paper addresses the challenging scenario for the distant-talking control of a music playback device, a common portable speaker with four small loudspeakers in close proximity to one microphone. The user controls the device through voice, where the speech-to-music ratio can be as low as -30 dB during music playback. We propose a speech enhancement front-end that relies on known robust methods for echo cancellation, double-talk detection, and noise suppression, as well as a novel adaptive quasi-binary mask that is well suited for speech recognition. The optimization of the system is then formulated as a large scale nonlinear programming problem where the recognition rate is maximized and the optimal values for the system parameters are found through a genetic algorithm. We validate our methodology by testing over the TIMIT database for different music playback levels and noise types. Finally, we show that the proposed front-end allows a natural interaction with the device for limited-vocabulary voice commands.

研究の動機と目的

• 高音量の音楽再生と低音声対エコー比を伴うポータブル音楽デバイスにおける遠距離話者の音声制御の課題に対処すること。
• 音楽再生と背景ノイズを伴う極めて劣悪な音響環境下でも信頼性の高い音声認識を可能にする単一マイクフロントエンドを設計すること。
• 非線形プログラミング手法を用いて、自動音声認識（ASR）性能を最大化するためのシステムパラメータを最適化すること。
• 実世界の録音データを用いて、変動する音声対音楽比における自然な音声コマンドの妥当性を検証すること。
• 低信号対雑音比条件下で、実用的かつリアルタイムな状況下で限られた語彙の音声制御が実現可能であることを示すこと。

提案手法

• フロントエンドは、ラウドスピーカーからのエコーを抑えるために、多重遅延適応フィルタを用いた2段階のロバスト音声エコーキャンセラ（RAEC）を段階的に組み合わせた構造を採用する。
• ダブルトーク確率（DTP）推定器とコherエンスに基づく残響音パワー推定器を用いて、残存エコーを検出し、抑制する。
• 最小平均二乗誤差（MMSE）推定と理想2値マスク（IBM）近似を組み合わせた新規な適応的準2値マスクを用いることで、低SNR環境下でのノイズ抑制を強化する。
• 音声活動検出器（VAD）は、事前および事後SNRに基づくエネルギー閾値設定を用いて、音声フレームを分離する。
• パラメータチューニングは大規模な非線形プログラミング問題として定式化され、TIMITデータベースにおけるASR認識精度を最大化する目的で遺伝的アルゴリズム（GA）を用いて解かれる。
• 学習データは、クリアなTIMIT音声を部屋インパulse応答で畳み込み、音楽、バブルノイズ、工場ノイズと混合することで合成される。

実験結果

リサーチクエスチョン

• RQ1 高音量の音楽再生と低音声対エコー比を伴うポータブル音楽デバイスにおいて、単一マイクフロントエンドが耐障害性のある音声認識を達成できるか？
• RQ2 ダブルトーク検出と残存エコー抑制を組み合わせた段階的RAECは、リアルタイム再生条件下でエコーとノイズをどれほど効果的に低減できるか？
• RQ3 MMSEベースの強調処理と適応的準2値マスクを組み合わせることで、従来手法と比較して極めて低いSNR環境下でも認識性能が向上するか？
• RQ4 遺伝的アルゴリズムを用いたフロントエンドパラメータ最適化は、品質ベースの最適化（例：POLQA）と比較して、ASR認識精度を顕著に向上させるか？
• RQ5 音声対音楽比が-35 dBにまで低下する実世界条件下で、限られた語彙の音声コマンドの認識率はどの程度達成可能か？

主な発見

• 提案されたフロントエンドは、バブルノイズ下でのノイズ混在TIMITデータベースにおいて、37.4%（ビグラム）の電話認識精度を達成し、ベースライン手法を著しく上回った。
• 実世界でのテストでは、音声対音楽比-25〜-20 dBで「PLAY」と「NEXT」コマンドの認識精度が90%に達し、-30〜-25 dBで「PLAY」コマンドは80%の認識率を示した。
• 最低のSER（-35〜-30 dB）では、「BACK」コマンドが73%、「PAUSE」コマンドが76%の認識率を達成し、強化処理を施さない場合の25%のベースラインを上回った。
• ASR最適化パラメータは、すべてのSERレベルでPOLQA最適化パラメータを上回った。これは、認識タスクにおいてASR指向のチューニングが品質指向のチューニングよりも効果的であることを示している。
• スペクトログラムから、処理後の信号は初期には聴取不能であったにもかかわらず、人間の聴取者にとって明確に認識可能になるほど、音声の理解可能性と構造が保持された。
• 実験で推定された音声対エコー比（SER）は-35〜-20 dBの範囲にあり、シミュレーションベースのチューニング手法が実世界条件に適応可能であることが裏付けられた。