[論文レビュー] Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition

Shuai Zhang, Jiangyan Yi+4 more|arXiv (Cornell University)|Oct 28, 2020

Speech Recognition and Synthesis参考文献 20被引用数 4

ひとこと要約

本稿では、エンドツーエンドのコードスイッチングASRを2段階に分離するデカップルドトランスフォーマーモデルを提案する。音声から発音に変換する（A2P）ネットワークと、発音からテキストに変換する（P2T）ネットワークに分離し、モノリンガルなペairedデータ上でA2Pネットワークを事前学習し、非ペアのテキストデータ上でP2Tネットワークを事前学習する。アテンション統合を用いた共同最適化により、中国語-英語のコードスイッチングデータで18.14%の相対誤差率削減を達成し、限られたコードスイッチド音声-テキストペアに依存する必要を顕著に低減する。

ABSTRACT

Despite the recent significant advances witnessed in end-to-end (E2E) ASR system for code-switching, hunger for audio-text paired data limits the further improvement of the models' performance. In this paper, we propose a decoupled transformer model to use monolingual paired data and unpaired text data to alleviate the problem of code-switching data shortage. The model is decoupled into two parts: audio-to-phoneme (A2P) network and phoneme-to-text (P2T) network. The A2P network can learn acoustic pattern scenarios using large-scale monolingual paired data. Meanwhile, it generates multiple phoneme sequence candidates for single audio data in real-time during the training process. Then the generated phoneme-text paired data is used to train the P2T network. This network can be pre-trained with large amounts of external unpaired text data. By using monolingual data and unpaired text data, the decoupled transformer model reduces the high dependency on code-switching paired training data of E2E model to a certain extent. Finally, the two networks are optimized jointly through attention fusion. We evaluate the proposed method on the public Mandarin-English code-switching dataset. Compared with our transformer baseline, the proposed method achieves 18.14% relative mix error rate reduction.

研究の動機と目的

• エンドツーエンドのASRにおけるコードスイッチングのための音声-テキストペアデータの不足を解決すること。
• 高価で限られたコードスイッチドトレーニングデータに依存するエンドツーエンドモデルの依存度を低減すること。
• コードスイッチングASRにおいて、モノリンガルペアデータと非ペアテキストデータを効果的に活用すること。
• 性能向上を図りながら、トレーニングおよび推論のシンプルさを維持すること。

提案手法

• モデルは音声から発音（A2P）へのネットワークと、発音からテキスト（P2T）へのネットワークにデカップリングされる。
• A2Pネットワークは、モノリンガルペアデータ上でConnectionist Temporal Classification（CTC）基準を用いて事前学習され、言語的文脈とは独立して音声パターンを学習できるようになる。
• トレーニング中、A2Pネットワークは入力音声ごとにリアルタイムで複数の発音列候補を生成する。
• 生成された発音-テキストペアを用いてP2Tネットワークを学習し、P2Tネットワークは大規模な非ペアテキストデータ上で事前学習される。
• 共同最適化における計算コストを低減するために、マルチレベルのアテンション機構が用いられる。
• 2つのネットワークはアテンション統合を通じて共同最適化され、アライメントと性能が向上する。

Fig. 1 : Framework of decoupled transformer model (a) and multi-level attention (b). For simplicity, we omit parts such as convolution layer, layer normalization, residual connection, etc.

実験結果

リサーチクエスチョン

• RQ1 ペアのコードスイッチドデータを必要とせずに、モノリンガルペアデータを効果的に活用してコードスイッチングASRを改善できるか？
• RQ2 非ペアのテキストデータを用いて、コードスイッチングASRシステムの言語モデル部を事前学習できるか？
• RQ3 音声処理と言語モデル処理のコンポーネントをデカップリングすることで、限られたコードスイッチドトレーニングデータへの依存度が低下するか？
• RQ4 アテンション統合によるA2PおよびP2Tネットワークの共同最適化は、エンドツーエンドのトレーニングおよび推論のシンプルさを維持できるか？

主な発見

• 提案モデルは中国語-英語のコードスイッチングデータセットにおいて、トランスフォーマーベースラインと比較して18.14%の相対誤差率削減を達成した。
• 外部データを用いる場合、英語の相対語誤り率（WER）は9.39%低下し、中国語の文字誤り率（CER）は9.78%低下した。
• 中国語モノリンガルデータ500時間と英語モノリンガルデータ460時間でA2Pネットワークを事前学習することで、コードスイッチドデータのみを用いた場合と比較して、相対的平均誤り率（MER）が9.42%低下した。
• アブレーションスタディの結果、発音と音声の両方の情報を組み合わせることで、単一の発音レベルモデリングよりも優れた性能が得られ、マルチモーダル情報統合の利点が裏付けられた。
• デカップルドアーキテクチャであるにもかかわらず、標準のエンドツーエンドモデルと同様に、トレーニングおよびデコードのシンプルさを維持した。