[論文レビュー] On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition

Zhiping Zeng, Yerbolat Khassanov+4 more|arXiv (Cornell University)|Nov 1, 2018

Speech Recognition and Synthesis参考文献 25被引用数 13

ひとこと要約

本論文は、データ拡張、バイトペア符号化（BPE）サブワードユニット、言語識別（LID）を用いたマルチタスク学習、およびニューラル言語モデル（NLM）の語彙拡張法を活用して、中国語-英語のコードスイッチングを対象としたエンドツーエンド（E2E）音声認識システムを提案する。この手法により、開発セットにおける語誤り率（WER）が9.5パーセンテージポイント低下し、SEAMEコーパスにおいてほぼ最先端の性能を達成した。

ABSTRACT

Code-switching (CS) refers to a linguistic phenomenon where a speaker uses different languages in an utterance or between alternating utterances. In this work, we study end-to-end (E2E) approaches to the Mandarin-English code-switching speech recognition (CSSR) task. We first examine the effectiveness of using data augmentation and byte-pair encoding (BPE) subword units. More importantly, we propose a multitask learning recipe, where a language identification task is explicitly learned in addition to the E2E speech recognition task. Furthermore, we introduce an efficient word vocabulary expansion method for language modeling to alleviate data sparsity issues under the code-switching scenario. Experimental results on the SEAME data, a Mandarin-English CS corpus, demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• 従来のDNN-HMMフレームワークの制限を回避する、中国語-英語のコードスイッチングに適した競争力のあるエンドツーエンド（E2E）音声認識システムの開発を目的とする。
• サブワードユニット表現の向上と言語モデルの強化により、コードスイッチングにおけるデータスパarsityと言語の不均衡を解決することを目的とする。
• 言語識別（LID）を補助タスクとして統合したマルチタスク学習により、E2Eモデルの性能を向上させることを目的とする。
• ニューラル言語モデル（NLM）のための新しい語彙拡張法を用いて、言語間のデータスパarsityを軽減することを目的とする。

提案手法

• データ拡張として音声速度の摂動を適用し、学習データを3倍に増加（90%、100%、110%の速度変更）。
• 中国語と英語の両言語の表現をバランスさせるために、3,000ユニットのバイトペア符号化（BPE）サブワードユニットを用い、文字レベルのユニットよりも優れた性能を達成した。
• E2E ASRモデルと同時に言語識別（LID）ヘッドを学習するマルチタスク学習を導入し、ハイパーパrameter λ₂ を用いた重み付き損失関数を採用した。
• LID学習の2つのバリエーション（共有ヘッドと独立ヘッド）を導入し、両者ともE2E学習プロセスに統合した。
• ニューラル言語モデル（NLM）の語彙拡張技術を提案し、n-gramの再スコアリングを向上させ、まれなコードスイッチド語の組み合わせのカバー率を向上させた。
• 拡張されたNLMを用いてN-best再スコアリングを実施し、ASRの仮説を精緻化することで、最終出力の誤り率を低減した。

実験結果

リサーチクエスチョン

• RQ1 辞書情報や言語固有のモデリングを用いずに、エンドツーエンド音声認識モデルが中国語-英語のコードスイッチングを効果的に処理できるか？
• RQ2 データ拡張とサブワードユニット選択（BPE対文字）が、E2EコードスイッチングASR性能に与える影響は何か？
• RQ3 言語識別（LID）を用いたマルチタスク学習が、E2EコードスイッチングASRのロバスト性と正確性をどの程度向上させるか？
• RQ4 ニューラル言語モデル（NLM）のための語彙拡張法が、言語間のデータスパarsityを効果的に軽減できるか？
• RQ5 提案手法のすべての技術を統合した場合、コードスイッチド音声認識における語誤り率（WER）にどのような総合的効果が現れるか？

主な発見

• データ拡張はE2E ASR性能を顕著に向上させた。BPEサブワードユニット（3,000ユニット）は文字レベル出力よりも優れた結果を示した。
• LIDを用いたマルチタスク学習アプローチにより、開発セットのmanではトークン誤り率（TER）が最大0.9パーセンテージポイント、sgeでは1.0パーセンテージポイント低下した。最適なλ₂ ≈ 0.2が得られた。
• 提案されたNLM語彙拡張法により、dev manではTERが35.8%から25.0%に、dev sgeでは46.5%から34.5%に低下し、ほぼ最先端の性能を達成した。
• 言語間の置換は比較的少ない（全誤りの約10%）、英語語彙が中国語文字に置換される割合（S_E→M ≈ 8%）が、逆に中国語語彙が英語に置換される割合（S_M→E ≈ 3%）よりも高い傾向を示した。
• 最良のシステム（E2E-DA-BPE3k + LID_indep + NLM拡張）は、dev manでTERが25.0%、dev sgeで34.5%を達成し、ベースラインのE2E-DA-CHARよりそれぞれ9.5および12.0パーセンテージポイント優れていた。
• この手法は特に文字ベースのシステムに最も効果的であり、LIDが文字レベルモデリングに起因する不均衡を緩和していることが示唆された。