[論文レビュー] OC16-CE80: A Chinese-English Mixlingual Database and A Speech Recognition Baseline

Dong Wang, Zhiyuan Tang+2 more|arXiv (Cornell University)|Sep 27, 2016

Speech Recognition and Synthesis参考文献 22被引用数 4

ひとこと要約

本論文では、MixASR-CHEN 2016チャレンジを想定して作成された、1,400名以上の話者を含む80時間の中国語・英語混在語り言語データベース「OC16-CE80」を提示する。THCHS30およびOC16-CE80を用いて訓練された言語モデルを備えたDNN-HMMハイブリッドシステムを用いたベースラインでは、全体の語誤り率（WER）が20.09%に達した。これは、音声認識と言語モデルの言語間競合に起因する英語語の高い誤り率を除けば、多言語ASR研究における本データベースの有効性を示している。

ABSTRACT

We present the OC16-CE80 Chinese-English mixlingual speech database which was released as a main resource for training, development and test for the Chinese-English mixlingual speech recognition (MixASR-CHEN) challenge on O-COCOSDA 2016. This database consists of 80 hours of speech signals recorded from more than 1,400 speakers, where the utterances are in Chinese but each involves one or several English words. Based on the database and another two free data resources (THCHS30 and the CMU dictionary), a speech recognition (ASR) baseline was constructed with the deep neural network-hidden Markov model (DNN-HMM) hybrid system. We then report the baseline results following the MixASR-CHEN evaluation rules and demonstrate that OC16-CE80 is a reasonable data resource for mixlingual research.

研究の動機と目的

• コードスイッチング音声認識研究を支援するため、公開可能で大規模な中国語・英語混在語り言語データベースの開発を目的とする。
• 低リソース多言語ASRの課題に対処するため、コードスイッチド発話に対するシステムの評価を標準化したベンチマークを提供することを目的とする。
• MixASR-CHEN 2016チャレンジの参加者を支援するため、OC16-CE80データベースと補足データセット（THCHS30、CMU辞書）を用いたベースラインASRシステムを確立することを目的とする。
• 中国語発話内に埋め込まれた英語語の認識における困難、特に音声認識と言語モデルの言語間競合に起因する課題を分析することを目的とする。

提案手法

• OC16-CE80データベースは、1,400名以上の話者を対象にモバイルフォンを用いて収集され、16 kHz、16ビット解像度の80時間の音声と、読み取りスタイルのテキストトランスクリプションを含む。
• データベースは、学習用（63.8時間、1,163名の話者）、開発用（7.76時間、140名の話者）、テスト用（7.93時間、142名の話者）に分割され、すべての発話が母語として中国語をもち、英語語が埋め込まれた構造を有する。
• THCHS30中国語コーパスとOC16-CE80データベースを用いてDNN-HMMハイブリッドASRシステムを構築し、CMU辞書とOC16-CE80トランスクリプションから導出された語彙を用いた。
• 4種類の言語モデルを訓練した：THLM（THCHS30から）、OCLM（OC16-CE80から）、MIX（THLMとOCLMの線形補間）、JOIN（両データセットを統合して訓練）。補間係数は2,000文の検証セット上で最適化された。
• 言語モデル重みと語挿入ペナルティの線形補間を用いて、中国語語と英語語の認識性能のバランスをとった。
• MIX言語モデル構成を用いた誤り分析により、置換誤り、削除誤り、挿入誤りを特定し、特に英語語の誤り率が著しく高いことに注目した。

実験結果

リサーチクエスチョン

• RQ1 OC16-CE80データベースは、中国語・英語コードスイッチング音声認識のための学習および評価リソースとしてどれほど有効であるか？
• RQ2 中国語発話内に埋め込まれた英語語の認識における主な音声的および言語的課題は何か？
• RQ3 外部コーパス（例：THCHS30）を用いた場合、言語モデルのドメイン不一致が混在言語ASRの性能にどの程度影響を及ぼすか？
• RQ4 中国語と英語の言語モデルおよび音声モデルの間の競合が、特に英語語の語誤り率にどのように影響を及えるか？
• RQ5 公開リソースのみを用いても、標準的なDNN-HMMシステムが混在言語データに対して妥当な性能を達成できるか？

主な発見

• MIX言語モデルを用いたベースラインシステムは、テストセットで全体の語誤り率（WER）が20.09%に達した。このMIX言語モデルはTHCHS30とOC16-CE80の言語モデルを統合したものである。
• OC16-CE80に特化して訓練されたOCLM言語モデルは、中国語語ではWERが19.00%、英語語では43.67%を記録し、THLMモデル（英語語で100% WER）を上回った。
• THCHS30の単語語彙に特化して訓練されたTHLMモデルは、英語語の認識で著しく劣悪な性能を示し、ドメイン不一致とコードスイッチドデータへの一般化能力の欠如を示している。
• 置換誤りと削除誤りは、中国語語に比べて英語語で顕著に高く、英語語の誤りのうち22.11%が置換誤りに起因していた。
• 英語語の高い誤り率は、主に英語音素の弱い音声モデリングと、特に英語語を含む遷移の言語モデル確率の低さに起因しており、デコーダーが中国語のみのシーケンスにバイアスをかける結果となった。
• 誤り分析の結果、多くの英語語の置換誤りは、中国語語との音声的類似性に起因しており、言語間の音声的誤認が混在言語ASRにおける主要な課題であることが明らかになった。