[論文レビュー] Contaminated speech training methods for robust DNN-HMM distant speech recognition

Mirco Ravanelli, Maurizio Omologo|arXiv (Cornell University)|Oct 10, 2017

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本稿では、汚染された音声を用いた遠距離話者の音声認識のためのDNN-HMM音声モデルを改善するために、非対称なコンテキスト窓、クローストークベースの教師付き学習、クローストークベースの事前学習の3つの新規手法を提案する。これらの手法は、模擬的および実世界のデータの両方でベースラインシステムと比較して、語誤り率を15%以上低減し、混浊および騒音環境下での顕著な耐障害性の向上を示している。

ABSTRACT

Despite the significant progress made in the last years, state-of-the-art speech recognition technologies provide a satisfactory performance only in the close-talking condition. Robustness of distant speech recognition in adverse acoustic conditions, on the other hand, remains a crucial open issue for future applications of human-machine interaction. To this end, several advances in speech enhancement, acoustic scene analysis as well as acoustic modeling, have recently contributed to improve the state-of-the-art in the field. One of the most effective approaches to derive a robust acoustic modeling is based on using contaminated speech, which proved helpful in reducing the acoustic mismatch between training and testing conditions. In this paper, we revise this classical approach in the context of modern DNN-HMM systems, and propose the adoption of three methods, namely, asymmetric context windowing, close-talk based supervision, and close-talk based pre-training. The experimental results, obtained using both real and simulated data, show a significant advantage in using these three methods, overall providing a 15% error rate reduction compared to the baseline systems. The same trend in performance is confirmed either using a high-quality training set of small size, and a large one.

研究の動機と目的

• リバーブや背景ノイズなどの悪質な音響条件下における堅牢な遠距離話者認識の持続的課題に対処すること。
• 高品質なクローストークデータを活用して、遠距離話者学習における教師付き学習の質と初期化を向上させることにより、DNN-HMM音声モデルの性能を向上させること。
• 現代のDNN-HMMシステムにおける汚染された音声学習の有効性を検証すること、特に最適化されたコンテキスト処理と事前学習戦略を含めて検討すること。
• 提案手法を模擬的および実世界の遠距離話者データの両方で検証することにより、特に困難な実環境のリバーブおよび騒音条件下での有効性を確認すること。

提案手法

• リバーブのDNN入力表現への悪影響を軽減するために、将来のフレームに重点を置いた非対称なコンテキスト窓（ACW）を導入する。
• クローストークデータから得られる高精度な強制アラインメントラベルを遠距離話者DNN学習に継承することで、教師付き学習の質を向上させる。
• 標準的な非教師付きRBM事前学習に代えて、クローストークデータを用いた教師付き事前学習を採用し、遠距離話者DNNのより知的で効果的な初期化を可能にする。
• 2段階の訓練プロセスを採用する：まずクローストークデータでDNNを事前学習し、次に学習率を低くした状態で、汚染された遠距離話者データで微調整する。
• システム実装にはKaldi ASRツールキットを用い、音声モデルの影響を隔離するために電話ループタスクで性能を評価する。
• 実際の遠距離話者状況を模擬するために、測定済みインパulse応答との畳み込みと、制御されたSNRでのノイズ追加を用いて音声を汚染する。

実験結果

リサーチクエスチョン

• RQ1 非対称なコンテキスト窓は、リバーブの影響をより効果的に扱うことで、DNN-HMMの遠距離話者認識性能を向上させることができるか？
• RQ2 クローストークデータから得た高精度なラベルを継承することで、遠距離話者DNN学習の収束が速まり、性能が向上するか？
• RQ3 クローストークデータを用いた教師付き事前学習は、標準的な非教師付きRBM事前学習を上回る性能を発揮するか？
• RQ4 提案手法は、異なる学習データ量や実世界の音響条件の下でも、どの程度一般化可能か？

主な発見

• クローストークベースの教師付き学習（CT-lab）は、APASCIデータセットで10%、Euronewsデータセットで12%の語誤り率低減を達成した。
• CT-lab手法は学習収束を加速させ、エポック数を15から12に削減し、学習時間を20%削減した。
• 教師付きクローストーク事前学習（CT-PT）は一貫した改善効果を示し、APASCIデータセットにおいてSim-Revで1.6%、Real-Revで1.2%、Sim-Rev&Noiseで1.1%の誤り率低減を達成した。
• ACW、CT-lab、CT-PTの組み合わせにより、すべてのテスト条件下でベースラインシステムと比較して相対誤り率を15%以上低減した。
• 6時間（小規模）および100時間（大規模）の学習データセットの両方で性能向上が確認され、本手法のスケーラビリティと耐障害性が裏付けられた。
• 模擬的および実世界のテストデータの両方で一貫した結果が得られ、本手法の実環境音響条件下での実用的応用可能性が検証された。