[論文レビュー] Dual Language Models for Code Mixed Speech Recognition

Saurabh Garg, Tanmay Parekh+1 more|arXiv (Cornell University)|Nov 3, 2017

Speech Recognition and Synthesis参考文献 18被引用数 9

ひとこと要約

本稿では、中国語と英語の双語的コードスイッチド音声認識のため、中国語と英語の2つの単語言語モデル（MandarinおよびEnglish）を確率的スイッチング機構で統合することで、外部データなしで、標準の二語語言語モデルよりも著しいパープレキシティおよび自動音声認識誤り率の改善を達成する二言語モデルを提案する。この研究は、中国語-英語の会話コーパス上で実施された。

ABSTRACT

In this work, we present a simple and elegant approach to language modeling for bilingual code-switched text. Since code-switching is a blend of two or more different languages, a standard bilingual language model can be improved upon by using structures of the monolingual language models. We propose a novel technique called dual language models, which involves building two complementary monolingual language models and combining them using a probabilistic model for switching between the two. We evaluate the efficacy of our approach using a conversational Mandarin-English speech corpus. We prove the robustness of our model by showing significant improvements in perplexity measures over the standard bilingual language model without the use of any external information. Similar consistent improvements are also reflected in automatic speech recognition error rates.

研究の動機と目的

• 自然な会話において言語が入り混じる双語的コードスイッチド音声をモデル化する課題に対処すること。
• 標準の二語語言語モデルを超えて、コードスイッチドテキストの言語モデルを改善すること。
• 外部の言語資源を必要とせず、単語言語モデルの構造を活用する手法を開発すること。
• 実世界の会話的中国語-英語音声コーパス上でアプローチを評価すること。
• パープレキシティおよび自動音声認識性能の両面で一貫した改善を示すこと。

提案手法

• 中国語と英語それぞれの言語用に、単語データで学習された分離された単語言語モデルを構築する（例：中国語および英語）。
• 各トークンで言語を切り替える確率をモデル化するための確率的スイッチング機構を導入する。
• スイッチング確率に基づく重み付き混合により、2つの単語言語モデルの出力を統合する。
• コードスイッチドテキストデータを用いて、パープレキシティを最適化しながら、二言語モデルをエンドツーエンドで学習する。
• 統合されたモデルを自動音声認識システムにおける言語モデルとして使用する。
• 性能を評価するために、モデルを会話的中国語-英語音声コーパスに適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的スイッチング機構を用いて2つの単語言語モデルを統合することで、コードスイッチド言語モデルの性能が向上するか？
• RQ2 標準の二語語言語モデルと比較して、二言語モデルアプローチがパープレキシティをより効果的に低減するか？
• RQ3 二言語モデルアプローチは、コードスイッチド音声における自動音声認識誤り率をどの程度改善するか？
• RQ4 外部の言語情報やアノテーションに依存せずに、モデルはより良い性能を達成できるか？
• RQ5 二言語モデルは、会話的音声におけるさまざまなコードスイッチングパターンに対してどれほど頑健か？

主な発見

• 標準の二語語言語モデルと比較して、中国語-英語のコードスイッチドコーパスにおいて、二言語モデルは顕著にパープレキシティを低減した。
• 外部の言語情報を利用せずに、自動音声認識誤り率において一貫した改善を達成した。
• 会話的音声におけるさまざまなコードスイッチングパターンにわたり、性能向上が頑健であった。
• 確率的スイッチング機構は、自然なコードスイッチドテキストにおける言語遷移を効果的に捉えていた。
• 強力な単語言語モデルの事前知識のおかげで、リソースが限られた状況でも標準の二語語モデルを上回る性能を示した。
• 単語言語モデルの構造を活用することで、単なる二語語ブレンドを超えたコードスイッチド言語モデルの向上が実証された。