[論文レビュー] Towards End-to-end Automatic Code-Switching Speech Recognition

Genta Indra Winata, Andrea Madotto+2 more|arXiv (Cornell University)|Oct 30, 2018

Speech Recognition and Synthesis参考文献 14被引用数 12

ひとこと要約

本稿では、混合言語コーパスでの微調整の前に、単語言語の英語および中国語のデータセットを共同で学習することで、文内での英語・中国語のコードスイッチングを対象としたCTCベースのエンドツーエンド音声認識モデルを提案する。この手法は、転移学習を活用することで文字誤り率（CER）を5%相対的に低減し、n-gram言語モデルを用いた再スコアリングによってデコード性能を向上させた。

ABSTRACT

Speech recognition in mixed language has difficulties to adapt end-to-end framework due to the lack of data and overlapping phone sets, for example in words such as "one" in English and "wàn" in Chinese. We propose a CTC-based end-to-end automatic speech recognition model for intra-sentential English-Mandarin code-switching. The model is trained by joint training on monolingual datasets, and fine-tuning with the mixed-language corpus. During the decoding process, we apply a beam search and combine CTC predictions and language model score. The proposed method is effective in leveraging monolingual corpus and detecting language transitions and it improves the CER by 5%.

研究の動機と目的

• 言語遷移が予測不能でデータが限られているコードスイッチング音声における自動音声認識の課題に対処すること。
• 音声認識、発音、言語モデルを別々に処理する従来のパイプライン型ASRシステムの制限を克服すること。
• 明示的な言語識別子に依存せずに、単語言語データから同時に学習し、コードスイッチングのパターンに適応できるエンドツーエンドフレームワークを開発すること。
• 単語言語コーパスからの転移学習を活用することで、混合言語発話の一般化と耐障害性を向上させること。
• 共同学習と微調整が、コードスイッチング認識における文字誤り率（CER）の低減にどのように寄与するかを実証すること。

提案手法

• 単語言語の英語および中国語のデータセットを共同で学習した後、コードスイッチングコーパスで微調整することで、CTCベースのエンドツーエンドASRモデルを訓練する。
• 特徴抽出およびシーケンスモデリングにバッチ正規化とReLU活性化関数を用いたCNN-BiGRUアーキテクチャを採用する。
• 英語および簡体字中国語の文字セットを連結して、1つの出力語彙として統合する。
• ビームサイズ100のビームサーチデコードを実行し、CTC予測スコアと言語モデルスコアを重み付き合成（α=0.2, β=1）で統合する。
• 単語言語データでの事前学習の後に、コードスイッチングデータで微調整することで、言語遷移に適応する。
• 最終仮説を3-gram、4-gram、5-gram n-gram言語モデルを用いて再スコアリングし、文法的整合性を向上させ、誤りを是正する。

実験結果

リサーチクエスチョン

• RQ1 混合言語データでの学習に比べ、単語言語データでの共同学習がエンドツーエンドコードスイッチングASR性能を向上させるか？
• RQ2 明示的な言語識別子なしに、CTCベースのモデルが文内コードスイッチングにおける言語遷移をどの程度正しく検出・変換できるか？
• RQ3 共同事前学習の後に、小さなコードスイッチングコーパスでの微調整が、文字誤り率（CER）をどの程度低減するか？
• RQ4 外部n-gram言語モデルによる再スコアリングが、デコード精度をどの程度向上させるか？
• RQ5 「one」と「wàn」のような、発音的に似た言葉を、コードスイッチング文脈で正しく認識できるか？

主な発見

• 単語言語データでの共同学習に続いてコードスイッチングデータでの微調整を実施した結果、混合言語コーパスでの学習のみに比べて、文字誤り率（CER）が5%相対的に低減した。
• モデルは言語遷移を正しく学習し、複雑な文内コードスイッチングパターンでさえ、英語および中国語の文字を正確に変換できた。
• コードスイッチングデータの50%のみを用いた微調整でも、全データを用いた場合と同等の性能を達成しており、高いデータ効率性を示した。
• 5-gram言語モデルによる再スコアリングの導入で、CERがさらに1%低減し、ベースライン出力の綴り誤りや文法的誤りが是正された。
• モデルは、発音的に似た言葉（例：「before」と「for」）を、コードスイッチング文脈で正しくマッピングする能力を向上させ、一般化性能が向上した。
• 改善が見られたものの、依然として両言語の表現がバランスよく保たれていないことが判明し、今後の研究で継続的忘却の問題に対処する必要がある。