[論文レビュー] Semi-supervised acoustic modelling for five-lingual code-switched ASR using automatically-segmented soap opera speech

Nicholas I. Wilkinson, Astik Biswas+4 more|arXiv (Cornell University)|Apr 8, 2020

Speech Recognition and Synthesis参考文献 33被引用数 7

ひとこと要約

本論文は、自動的にセグメンテーションされたドラマ音声を用い、CNNベースの音声活動検出（VAD）とGMM-HMMスムージング、および発話者ダイアライゼーションを活用することで、5言語混合のコードスイッチド音声を対象とした半教師あり自動音声認識（ASR）システムを提案する。最高性能を示した手法は、手動セグメンテーションより1.1%の絶対的WER低減を達成し、自動セグメンテーションがリソースが乏しい多言語環境における完全スケーラブルで高性能なASRを可能にすることを示している。

ABSTRACT

This paper considers the impact of automatic segmentation on the fully-automatic, semi-supervised training of automatic speech recognition (ASR) systems for five-lingual code-switched (CS) speech. Four automatic segmentation techniques were evaluated in terms of the recognition performance of an ASR system trained on the resulting segments in a semi-supervised manner. The system's output was compared with the recognition rates achieved by a semi-supervised system trained on manually assigned segments. Three of the automatic techniques use a newly proposed convolutional neural network (CNN) model for framewise classification, and include a novel form of HMM smoothing of the CNN outputs. Automatic segmentation was applied in combination with automatic speaker diarization. The best-performing segmentation technique was also tested without speaker diarization. An evaluation based on 248 unsegmented soap opera episodes indicated that voice activity detection (VAD) based on a CNN followed by Gaussian mixture modelhidden Markov model smoothing (CNN-GMM-HMM) yields the best ASR performance. The semi-supervised system trained with the resulting segments achieved an overall WER improvement of 1.1% absolute over the system trained with manually created segments. Furthermore, we found that system performance improved even further when the automatic segmentation was used in conjunction with speaker diarization.

研究の動機と目的

• 自動セグメンテーションの影響が、リソースが乏しい環境における5言語混合コードスイッチド音声の半教師ありASR性能に与える影響を評価すること。
• エネルギーベースVADからCNN-HMM、CNN-GMM-HMMに至るまでの複数の自動セグメンテーション技術が、認識精度に与える影響を比較すること。
• 自動セグメンテーションと発話者ダイアライゼーションを組み合わせた手法が、手動でセグメンテーションされたデータの性能を同等または上回ることを評価すること。
• リソースが乏しい環境における多言語・コードスイッチド音声の完全自動でスケーラブルなASRトレーニングパイプラインの実現可能性を調査すること。

提案手法

• 4種類の自動セグメンテーション手法を評価した：(1) エネルギー基準VADに発話者ダイアライゼーションを組み合わせた手法、(2) HMMスムージングとダイアライゼーションを施したCNNベースのフレーム単位分類、(3) GMM-HMMスムージングとダイアライゼーションを施したCNN、(4) GMM-HMMスムージングは行うがダイアライゼーションを行わないCNN。
• フレーム単位で音声、音楽、ノイズを分類するための新しいCNNモデルを訓練し、時間的境界を洗練するためにHMMスムージングを適用した。
• セグメントに発話者IDを割り当てるためにX-vector DNN埋め込みを用い、セグメンテーション精度を向上させた。
• 半教師あり学習では、21時間分の手動でトランスクリプトされたデータと11時間分の手動でセグメンテーションされたデータを用いて強力なベースラインシステムを事前に訓練し、その出力から疑似ラベルを生成した。
• 最終的なASRシステムは、248本のセグメンテーションされていないドラマエピソードを用いて評価され、手動セグメンテーションベースラインと性能を比較した。
• システム性能は、語誤り率（WER）およびコードスイッチビグラム正答率（Bi CS）を用いて測定した。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのVADにGMM-HMMスムージングを適用した自動セグメンテーションが、5言語混合コードスイッチド音声において、手動セグメンテーションと同等のASR性能を達成できるか？
• RQ2 発話者ダイアライゼーションは、自動的にセグメンテーションされたASRシステムの性能にどのように影響するか？
• RQ3 自動的にセグメンテーションされた未トランスクリプトのドラマデータを用いた半教師あり学習は、手動セグメンテーションと比較してWERとコードスイッチ精度を向上させるか？
• RQ4 リソースが乏しい多言語コードスイッチング状況下で、異なる自動セグメンテーション手法がASR性能に与える相対的影響は何か？

主な発見

• 発話者ダイアライゼーションを組み合わせたCNN-GMM-HMM VADが最も優れたASR性能を示し、手動セグメンテーションベースラインと比較して1.1%の絶対的WER低減を達成した。
• 自動的にセグメンテーションされたデータで訓練されたシステムは、手動でセグメンテーションされたデータで訓練されたシステムと同等またはわずかに優れた性能を示し、自動セグメンテーションが実用的代替手段であることを示した。
• 発話者ダイアライゼーションを組み込むことで認識精度が顕著に向上し、特にコードスイッチポイントでの性能向上が顕著であった。これは多言語環境下での価値を裏付けた。
• 5言語混合の半教師ありシステム（System I）は、全二言語システムを上回り、最も近い競合システム（System F）と比較して0.5%の絶対的WER低減を達成した。この差は統計的に有意であった。
• 全半教師ありシステムにおいて、言語別WERとBi CSスコアが著しく向上し、手動と自動セグメンテーションデータの間で顕著な差は認められなかった。
• 結果から、発話者ダイアライゼーションを組み合わせた自動セグメンテーションが、リソースが乏しい多言語コードスイッチド音声において、スケーラブルで高性能なASRを実現可能であることが確認された。