[論文レビュー] Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition

Xinyuan Zhou, Emre Yılmaz+3 more|arXiv (Cornell University)|Jun 18, 2020

Speech Recognition and Synthesis参考文献 35被引用数 4

ひとこと要約

本稿では、コードスイッチング音声認識を改善するために、2つの対称的で言語特化型のエンコーダーと、それに該当するマルチヘッドアテンションモジュールを備えたマルチエンコーダーデコーダー（MED）トランスフォーマー・アーキテクチャを提案する。大規模な単言語コーパスで事前学習し、CTCおよびKullback-Leibler（KL）ダイバージェンス損失を用いて限定的なコードスイッチングデータで微調整することで、MEDモデルは中国語マトリックス評価で10.2%、英語マトリックス評価で10.8%の相対誤差率低減を達成した。

ABSTRACT

Code-switching (CS) occurs when a speaker alternates words of two or more languages within a single sentence or across sentences. Automatic speech recognition (ASR) of CS speech has to deal with two or more languages at the same time. In this study, we propose a Transformer-based architecture with two symmetric language-specific encoders to capture the individual language attributes, that improve the acoustic representation of each language. These representations are combined using a language-specific multi-head attention mechanism in the decoder module. Each encoder and its corresponding attention module in the decoder are pre-trained using a large monolingual corpus aiming to alleviate the impact of limited CS training data. We call such a network a multi-encoder-decoder (MED) architecture. Experiments on the SEAME corpus show that the proposed MED architecture achieves 10.2% and 10.8% relative error rate reduction on the CS evaluation sets with Mandarin and English as the matrix language respectively.

研究の動機と目的

• 限定的な学習データによる低リソースなコードスイッチング音声認識の課題に対処すること。
• 言語特化型の音響的および言語的特徴を別々にモデル化することで、コードスイッチド音声における言語識別を向上させること。
• 大規模な単言語コーパスでの事前学習により、言語特化型コンponentsを初期化し、データ不足問題を緩和すること。
• 共有デコーダーを通じて統一的なデコードを実現しつつ、二重エンコーダーおよびアテンションモジュールにより言語特化型表現学習を維持すること。

提案手法

• MED-トランスフォーマーは、中国語および英語のための別個の言語特化型エンコーダーを備え、それぞれ異なる音響表現を学習する。
• 各エンコーダーは、初期化および表現品質の向上を目的に、大規模な単言語音声コーパスで事前学習される。
• デコーダーは、それぞれのエンコーダー出力を参照する2つの言語特化型マルチヘッドアテンション（MHA）モジュールを備える。
• モデル全体は、接続主義的時系列分類（CTC）およびKullback-Leibler（KL）ダイバージェンス損失を用いて、コードスイッチングデータで微調整される。
• 音響的および言語的情報の共同モデリングを可能にすると同時に、表現学習における言語特化型不変性を維持する。
• エンコーダーおよびデコーダーの両方でスケーリングドットプロダクトアテンションが使用され、マルチヘッドアテンションにより複数のサブスペースにおけるアテンション学習が可能となる。

Figure 1: Model architecture of the proposed multi-encoder-decoder Transformer.

実験結果

リサーチクエスチョン

• RQ1 言語特化型事前学習を施した二重エンコーダー構造は、単一エンコーダーベースラインと比較して、コードスイッチングASR性能を向上させることができるか？
• RQ2 デコーダーにおける言語特化型マルチヘッドアテンションの使用は、混合言語間の識別を向上させるか？
• RQ3 単言語データでの事前学習は、コードスイッチングASRにおけるデータ不足問題をどの程度緩和できるか？
• RQ4 個々のエンコーダーは単言語およびコードスイッチド入力に対してどのように反応するか？これは、効果的な言語識別を反映しているか？

主な発見

• MED-トランスフォーマーは、中国語マトリックス評価セット（eval man）においてベースライン比で10.2%の相対誤差率低減を達成した。
• 英語マトリックス評価セット（eval sge）でも10.8%の相対誤差率低減が観察され、マトリックス言語全体にわたり高い性能を示した。
• eval manおよびeval sgeセットの英語語彙では、それぞれ12.8%および12.1%の相対誤差率低減を達成した。
• eval manおよびeval sgeセットの中国語文字では、それぞれ8.6%および6.2%の相対誤差率低減を達成した。
• 言語特化型エンコーダーは明確な活性化パターンを示した：中国語エンコーダーは中国語音声に対して強く反応し、英語エンコーダーは英語音声に対して反応した。これにより、効果的な言語識別が確認された。
• デコーダーに言語特化型MHAのみを搭載したモデル（M-De）は性能向上を示さなかった。これは、このタスクにおいてエンコーダー特化型モデリングがデコーダー特化型アテンションよりも重要であることを示唆している。

Figure 2: The distribution of the normalized values observed at each encoder’s final layer of the proposed MED Transformer system