[論文レビュー] Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition

Yizhou Peng, Yufei Liu+5 more|arXiv (Cornell University)|Jul 9, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文は、マルチリンガルなエンドツーエンドASRモデルを訓練するために単語言語データを活用する、Internal Language Model Estimation (ILME)に基づく言語モデル融合手法を、クロスドメインのコードスイッチング音声認識（CSSR）に提案する。この手法は、Transformerデコーダーから内部言語モデル（ILM）を推定し、それらを外部言語モデルと統合することで、従来のシャロウ融合よりも、イントラドメインおよびクロスドメインの両設定で顕著な認識性能向上を達成し、最大32.1%の相対誤差率低減を実現する。

ABSTRACT

Internal Language Model Estimation (ILME) based language model (LM) fusion has been shown significantly improved recognition results over conventional shallow fusion in both intra-domain and cross-domain speech recognition tasks. In this paper, we attempt to apply our ILME method to cross-domain code-switching speech recognition (CSSR) work. Specifically, our curiosity comes from several aspects. First, we are curious about how effective the ILME-based LM fusion is for both intra-domain and cross-domain CSSR tasks. We verify this with or without merging two code-switching domains. More importantly, we train an end-to-end (E2E) speech recognition model by means of merging two monolingual data sets and observe the efficacy of the proposed ILME-based LM fusion for CSSR. Experimental results on SEAME that is from Southeast Asian and another Chinese Mainland CS data set demonstrate the effectiveness of the proposed ILME-based LM fusion method.

研究の動機と目的

• ILMEに基づく言語モデル融合がイントラドメインおよびクロスドメインのコードスイッチング音声認識タスクにおいて有効であるかを評価すること。
• 単語言語データが、コードスイッチング認識のためのマルチリンガルASRモデルを効果的に訓練するために活用可能かどうかを調査すること。
• ILMEに基づく融合が、特に訓練データが限られた状況において、従来のシャロウ融合を上回ることを示すこと。
• CTC-アテンション統合学習が、明示的なCSデータが存在しない状況でも、マルチリンガルASRモデルがコードスイッチング発話に一般化できるようにする役割を明らかにすること。

提案手法

• 本手法は、コードスイッチング音声を処理するために、CTC-アテンション統合学習を用いたコンフォーマー基盤のエンドツーエンドASRモデルを採用する。
• 内部言語モデル（ILM）は、単語言語テキストデータ上で訓練されたTransformerデコーダーを用いて推定され、言語固有の統計を捉える。
• ILMEに基づく言語モデル融合は、ASRモデルの出力確率と推定されたILM確率を重み付き和で統合する：argmax_Y (log P(Y|X) + λ log P_ILM(Y))。
• 性能比較のため、シャロウ融合（SF）とLSCLベースの融合（LSCL）を適用し、LSCLが優れた結果を示した。
• SEAMEおよびASRUコーパスからの単語言語データを統合して、マルチリンガルASRモデルを訓練し、ゼロショットのクロスドメイン一般化を可能にする。
• 本手法は、CS認識済みモデルおよび単語言語学習済みモデルの両方で評価され、さまざまなデータ環境においても堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 ILMEに基づく言語モデル融合は、クロスドメインのコードスイッチング音声認識において認識性能を向上させることができるか？
• RQ2 訓練データが限られたり、単語言語データのみである場合、ILMEに基づく融合はどの程度有効か？
• RQ3 CTC-アテンション統合学習は、明示的なCSデータが存在しない状況でも、マルチリンガルASRモデルがコードスイッチング発話に一般化できるようにするか？
• RQ4 ILMEに基づく融合は、イントラドメインおよびクロスドメインのCSSRタスクにおいて、従来のシャロウ融合と比較してどのように異なるか？
• RQ5 単語言語データは、コードスイッチングシナリオに一般化可能なマルチリンガルASRモデルを訓練するために効果的に利用可能か？

主な発見

• 単語言語データでの学習に限定した場合、ILMEに基づく言語モデル融合は、ASRUテストセットにおいてシャロウ融合比で最大32.1%の相対誤差率低減を達成した。
• SEAMEコーパスでは、イントラドメインテストで語誤り率（WER）が1.4パーセンテージポイント（15.7%から15.4%）低下し、クロスドメイン設定でも一貫した改善が得られた。
• LSCLベースの融合バージョンは、すべてのテストセットでシャロウ融合を上回り、ASRU dev2セットではWERが3.3%絶対値で改善（49.7%から46.5%）した。
• 統合された単語言語データで訓練されたマルチリンガルASRモデルは、最高のベースライン性能を示し、SEAMEテストセットでは63.9%のWERを達成した。さらにILME融合により性能が向上した。
• CTCオンリーモデルは、単語言語データおよびコードスイッチングデータの両方で安定した収束を示したが、アテンションオンリーモデルはバリデーションデータで発散した。これは、アテンション機構が未学習のコードスイッチングパターンの一般化に困難を示していることを示している。
• 結果から、ILMEに基づく融合は、CSアノテーションが付与されていない訓練データでも有効であることが確認され、低リソースのコードスイッチングシナリオに適していることが示された。