[論文レビュー] Towards End-to-End Code-Switching Speech Recognition

Ne Luo, Dongwei Jiang+4 more|arXiv (Cornell University)|Oct 31, 2018

Speech Recognition and Synthesis参考文献 18被引用数 43

ひとこと要約

この論文は、SEAME 上での混成 CTC-Attention のエンドツーエンド Mandarin-English コードスイッチング ASR システムを提示し、モデリングユニット、言語識別、デコード戦略を研究し、テストセットで MER を最大で 34.24% まで低く達成した。

ABSTRACT

Code-switching speech recognition has attracted an increasing interest recently, but the need for expert linguistic knowledge has always been a big issue. End-to-end automatic speech recognition (ASR) simplifies the building of ASR systems considerably by predicting graphemes or characters directly from acoustic input. In the mean time, the need of expert linguistic knowledge is also eliminated, which makes it an attractive choice for code-switching ASR. This paper presents a hybrid CTC-Attention based end-to-end Mandarin-English code-switching (CS) speech recognition system and studies the effect of hybrid CTC-Attention based models, different modeling units, the inclusion of language identification and different decoding strategies on the task of code-switching ASR. On the SEAME corpus, our system achieves a mixed error rate (MER) of 34.24%.

研究の動機と目的

• コードスイッチングに対するエンドツーエンドアプローチを動機づけ、言語学者の専門知識や語彙への依存を減らす。
• Mandarin-English code-switching ASR のためのハイブリッド CTC-Attention アーキテクチャを評価する。
• モデリングユニット（文字対サブワード）と言語識別の影響を調査する。
• デコード戦略と混在言語出力の品質への影響を評価する。
• SEAME コーパスを分析し、コードスイッチング ASR に有効な設定を決定する。

提案手法

• エンコーダを CTC ロスとアテンションロスの両方で訓練するハイブリッド CTC-Attention エンドツーエンドフレームワークを採用する。
• 2 つのモデリングユニット構成を検討する：Character-Character および Character-Subword（英語サブワードには BPE を使用）。
• エンコーダ上で LID-Label および LID-MTL のマルチタスク学習を用いた共同言語識別を統合する。
• Decode1 および Decode2 の 2 つの語彙情報戦略を用いた共同 CTC-Attention ビームサーチデコードを適用し、語形の有効性を向上させる。
• デコード時にハイブリッドモデルと RNN 言語モデルを組み込む。
• SEAME Mandarin-English コードスイッチングコーパスで訓練・評価を行う。

実験結果

リサーチクエスチョン

• RQ1 ハンドクラフトされた語彙に頼らず、ハイブリッド CTC-Attention エンドツーエンドモデルが従来のコードスイッチング ASR の性能に匹敵できるか？
• RQ2 Mandarin-English コードスイッチングを最も支える音響モデリングユニットは何か（文字対サブワード）？
• RQ3 共同言語識別はコードスイッチング ASR の性能を改善するか、もしそうならどのように統合すべきか？
• RQ4 語彙妥当性を強制するデコード戦略は混在言語認識の結果を改善するか？

主な発見

Model	Output Units	Dev MER (%)	Test MER (%)
Att + CTC	character	37.59	39.31
Att + CTC	mixed-200	35.44	37.83
Att + CTC	mixed-500	36.33	38.05
LID-MTL	Decode2	32.31	34.24

• ハイブリッド CTC-Attention モデルは SEAME における MER で多くの伝統的なコードスイッチングシステムを上回る。
• Mandarin-English コードスイッチングでは Character-Subword ユニットが Character-Character ユニットを上回る。
• LID-MTL は LID の重みが控えめな場合に MER を改善し、0.1 で notable gains を得る。
• Decode2 デコーディング戦略は、Decode1 より語彙情報制約がある方が有効で、特に LID-MTL の場合に MER を低下させる。
• 語彙レベルの辞書とデコード制約を含めるとビームサーチを有効な単語へ導くことで最終 MER を低減できる。
• SEAME テストセットで報告された最良 MER：34.24%（LID-MTL、Decode2、および混合 200 サブワード）。