[論文レビュー] The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results

Xian Shi, Qiangze Feng+1 more|arXiv (Cornell University)|Jul 12, 2020

Speech Recognition and Synthesis参考文献 20被引用数 20

ひとこと要約

本論文は、ASRU 2019 Mandarin-English コードスイッチング音声認識チャレンジを提示し、3つのトラック（従来のDNN-HMM ASR（言語モデル（LM）制約あり・なし）およびエンドツーエンド（E2E）ASR）を通じて、中国語のみの音声データ500時間と文内コードスイッチングの中国語-英語音声データ240時間を公開した。主な発見では、データ拡張、発音語彙、言語識別が性能向上に寄与した。E2Eモデルはスペクトラム拡張（spec-augment）およびマルチタスク学習で最も恩恵を受けたが、この設定では依然として従来のシステムがE2Eモデルを上回った。

ABSTRACT

Code-switching (CS) is a common phenomenon and recognizing CS speech is challenging. But CS speech data is scarce and there' s no common testbed in relevant research. This paper describes the design and main outcomes of the ASRU 2019 Mandarin-English code-switching speech recognition challenge, which aims to improve the ASR performance in Mandarin-English code-switching situation. 500 hours Mandarin speech data and 240 hours Mandarin-English intra-sentencial CS data are released to the participants. Three tracks were set for advancing the AM and LM part in traditional DNN-HMM ASR system, as well as exploring the E2E models' performance. The paper then presents an overview of the results and system performance in the three tracks. It turns out that traditional ASR system benefits from pronunciation lexicon, CS text generating and data augmentation. In E2E track, however, the results highlight the importance of using language identification, building-up a rational set of modeling units and spec-augment. The other details in model training and method comparsion are discussed.

研究の動機と目的

• 中国語-英語ASR研究のためのオープンで標準化されたコードスイッチング音声データセットの不足を解決すること。
• 複数の学習パラダイムにわたるコードスイッチングASRシステムの評価と比較のための共通のテストベッドを確立すること。
• 文内コードスイッチングを扱う際の従来のDNN-HMMとエンドツーエンド（E2E）ASRモデルの有効性を調査すること。
• データ拡張、言語モデル、モデル単位設計がコードスイッチングASR性能に与える影響を評価すること。

提案手法

• 中国語のみの500時間と文内コードスイッチングの中国語-英語音声データ240時間を公開し、トランスクリプトおよびARPA形式の3-gramコードスイッチング言語モデル（LM）を提供した。
• 3つの評価トラックを設計した：(1) 固定3-gram LMを用いた従来のASR、(2) 制限のないLMを用いた従来のASR、(3) シーケンス・ツー・シーケンスモデルを用いたエンドツーエンド（E2E）ASR。
• データ拡張技術（並列翻訳やポインタジェネレーターネットワークによるテキスト生成など）の使用を奨励した。
• E2Eモデルにおける言語識別（LID）を監視信号として活用し、フレームレベルでの言語境界検出を改善することを推奨した。
• 従来システムおよびE2Eシステムの両方でスペクトラム拡張（spec-augment）を適用し、耐障害性を向上させた。
• トラック1のベースライン3-gram LMとの相対的な混合誤り率（MERR）を用いてシステムを評価した。

実験結果

リサーチクエスチョン

• RQ1 制限付きと制限なしの言語モデルを用いた従来のDNN-HMM ASRシステムは、中国語-英語コードスイッチングデータに対してどの程度の性能を示すか？
• RQ2 並列翻訳やポインタジェネレーターネットワークを用いたテキスト生成などのデータ拡張技術は、コードスイッチングASR性能にどの程度の向上効果をもたらすか？
• RQ3 エンドツーエンド（E2E）ASRモデルは、文内コードスイッチング発話の認識において、従来のハイブリッドシステムと比較してどの程度の性能を示すか？
• RQ4 言語識別（LID）は、エンドツーエンドコードスイッチングASRモデルの性能向上にどのような役割を果たすか？
• RQ5 文字、ワードピece、または音節といったモデル単位設計のうち、どの方式がマルチリンガルコードスイッチングASRで最適な性能を実現するか？

主な発見

• 従来のDNN-HMMシステムは中国語部分の誤り率を5%未満、英語誤り率を20%未満に抑え、強固なベースライン性能を示した。
• 並列翻訳やポインタジェネレーターネットワークを用いたテキスト生成によるデータ拡張は、言語モデルの文脈で2%〜4%の認識性能向上をもたらした。
• E2Eモデルにおける言語識別損失は、フレームレベルでの言語境界の区別を支援することで、性能向上に顕著な寄与をした。
• スペクトラム拡張（spec-augment）は、従来システムおよびE2Eシステムの両方で一貫性があり、耐障害性の高い性能向上をもたらした。
• E2Eトラックの優勝チームは、変換器（Transformer）モデルにマルチタスク学習、ラベルスムージング、チェックポイントアンサンブルを組み合わせ、E2Eシステムの中で最高の結果を達成した。
• 進展は見られたが、このチャレンジではE2Eモデルが従来のDNN-HMMシステムを上回ることはなかったが、性能の差は縮小傾向にあった。