[論文レビュー] Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching

Chia-Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|Dec 19, 2021

Speech Recognition and Synthesis参考文献 23被引用数 4

ひとこと要約

本稿では、非言語的記号の統合、階層的言語識別、サブワードモデリング、話速調整、データ拡張を組み合わせることで、言語的知識を統合したエンドツーエンドの自動音声認識（ASR）システムを、中国語-英語のコードスイッチング音声向けに提案する。最良の統合システムは、ベースライン比で混合誤り率を最大35%相対的に低減し、SEAMEコーパスにおいて最先端のハイブリッドTDNN-HMMシステムを上回る性能を達成した。

ABSTRACT

Code-Switching (CS) is a common linguistic phenomenon in multilingual communities that consists of switching between languages while speaking. This paper presents our investigations on end-to-end speech recognition for Mandarin-English CS speech. We analyse different CS specific issues such as the properties mismatches between languages in a CS language pair, the unpredictable nature of switching points, and the data scarcity problem. We exploit and improve the state-of-the-art end-to-end system by merging nonlinguistic symbols, by integrating language identification using hierarchical softmax, by modeling sub-word units, by artificially lowering the speaking rate, and by augmenting data using speed perturbed technique and several monolingual datasets to improve the final performance not only on CS speech but also on monolingual benchmarks in order to make the system more applicable on real life settings. Finally, we explore the effect of different language model integration methods on the performance of the proposed model. Our experimental results reveal that all the proposed techniques improve the recognition performance. The best combined system improves the baseline system by up to 35% relatively in terms of mixed error rate and delivers acceptable performance on monolingual benchmarks.

研究の動機と目的

• 中国語-英語のコードスイッチング音声における認識課題、特に言語特性の不一致、予測不能なスイッチングポイント、データ不足に対処すること。
• モデルアーキテクチャおよび学習プロセスに言語的知識を統合することで、エンドツーエンドASRの性能を向上させること。
• さまざまな知識統合技術およびその組み合わせの有効性を、コードスイッチドおよび単言語のベンチマークにおいて評価すること。
• さまざまな言語モデル融合戦略が最終的な認識精度に与える影響を調査すること。
• 自然な多言語音声を処理できる、実用的で頑健なASRシステムの開発

提案手法

• 話術的・プロソディックな特徴の認識を向上させるために、話法的粒子やためらいの表現（例：「ね」や「うーん」）といった非言語的記号をASR語彙に統合する。
• 階層的ソフトマックスを用いた言語識別を統合し、デコード中に言語固有の予測をガイドする。
• 英語語彙をサブワードユニット（例：BPE）でモデリングすることで、未知語彙の処理を改善し、一般化性能を向上させる。
• 訓練中に話速を意図的に低下させることで、高速発話におけるアライメント精度を向上させ、誤りを低減する。
• 速度変更と単言語データセットの組み合わせを用いたデータ拡張により、モデルの頑健性とカバレッジを向上させる。
• 浅い融合（shallow fusion）とコールド融合（cold fusion）を用いた外部言語モデルの統合により、言語境界の誤りを是正し、文の自然さを向上させる。

実験結果

リサーチクエスチョン

• RQ1 中国語と英語の言語特性の不一致が、コードスイッチング状況下でのエンドツーエンドASR性能にどのように影響するか？
• RQ2 予測ヘッドに統合された言語識別が、スイッチングポイントの認識にどの程度向上効果をもたらすか？
• RQ3 サブワードモデリングは、コードスイッチド発話におけるレア語彙や未知語彙の英語語彙認識にどのような影響を及ぼすか？
• RQ4 速度変更や単言語データの混合を含むデータ拡張技術が、モデルの一般化性能に与える効果は何か？
• RQ5 言語境界誤りの是正において、浅い融合（SF）とコールド融合（CF）のどちらの言語モデル統合手法がより優れた性能を示すか？

主な発見

• 最良の統合システム、E2ESW+3W+F3は、SEAME評価セットで25.0%の混合誤り率（MER）を達成し、ベースライン比で35%の相対的改善を示した。
• 追加の言語的アノテーションが施されたラベル2データ（label 2 data）を用いることで、同じ評価セットでの誤り率は23.7%にさらに低下した。
• 浅い融合（SF）とコールド融合（CF）による言語モデル統合は性能を顕著に向上させたが、一部の自動評価指標ではやや劣るものの、CFは人間評価においてより優れた結果を示した。
• サブワードモデリング、話速調整、データ拡張の組み合わせは、すべてのテストセット（単言語ベンチマークを含む）で一貫して認識性能を向上させた。
• 提案されたシステムは、最先端のTDNN-HMMハイブリッドシステムを上回り、言語モデル統合を施した場合のMERは22.0%にまで低下した（ハイブリッドベースラインは29.7%）。
• 外部言語モデルは、「take」の代わりに「带」や「apply」の代わりに「ply」と誤認識されるような誤りを効果的に是正でき、曖昧なまたは音声的に類似したコードスイッチドトークンの処理における価値を示した。