[論文レビュー] Multilingual sequence-to-sequence speech recognition: architecture, transfer learning, and language modeling

Jaejin Cho, Murali Karthick Baskar+7 more|arXiv (Cornell University)|Oct 4, 2018

Speech Recognition and Synthesis参考文献 18被引用数 5

ひとこと要約

本稿では、転移学習と多言語RNN言語モデルを用いた、共同CTC-アテンション学習による多言語シーケンス・ツー・シーケンス（seq2seq）ASRシステムを提案する。微調整により、低リソース対象言語において著しいWERの改善が得られ、RNNLM統合による効果は、訓練データを2倍にした場合と同等の向上を示した。特に低リソース環境下で顕著であった。

ABSTRACT

Sequence-to-sequence (seq2seq) approach for low-resource ASR is a relatively new direction in speech research. The approach benefits by performing model training without using lexicon and alignments. However, this poses a new problem of requiring more data compared to conventional DNN-HMM systems. In this work, we attempt to use data from 10 BABEL languages to build a multi-lingual seq2seq model as a prior model, and then port them towards 4 other BABEL languages using transfer learning approach. We also explore different architectures for improving the prior multilingual seq2seq model. The paper also discusses the effect of integrating a recurrent neural network language model (RNNLM) with a seq2seq model during decoding. Experimental results show that the transfer learning approach from the multilingual model shows substantial gains over monolingual models across all 4 BABEL languages. Incorporating an RNNLM also brings significant improvements in terms of %WER, and achieves recognition performance comparable to the models trained with twice more training data.

研究の動機と目的

• 共同CTC-アテンションフレームワーク内での、10言語BABEL語で事前学習した多言語seq2seqモデルを用いた、低リソース対象言語への転移学習の検討。
• 認識精度の向上を目的とした、デコード段階における多言語RNN言語モデル統合の有効性の評価。
• モデルアーキテクチャとデータ量が、多様な低リソース言語における転移学習性能に与える影響の分析。
• WERおよびCERの向上を焦点に、多言語転移学習と単言語学習の比較。

提案手法

• CTCとアテンションの両方を組み合わせた線形補間重みλを用いた、複数目的損失関数を用いて、10言語BABEL語でハイブリッドCTC-アテンションseq2seqモデルを学習。
• エンコーダーは、双方向LSTMまたは深層CNNに続くBLSTMを用い、音声特徴を抽出。CTCおよびアテンションの両目的で共有されたエンコーダー重みを採用。
• 転移学習は段階2再訓練により実施：多言語モデルを、変動するデータ量（5〜20時間）の対象言語で微調整。
• 各対象言語のテキストに対して別個に文字レベルRNN言語モデルを学習し、デコード段階でスコアの加重結合（log p = log p_hyp + β log p_lm）により浅い統合（shallow fusion）を実施。
• 結合デコードでは、ビームサーチを用いてseq2seqモデルとRNNLMの仮説を統合。βは音声モデルと言語モデルのスコアのバランスを最適化するために調整。
• 言語モデルは学習段階ではなく、推論段階でのみ後処理として適用され、モデルの柔軟性を保ちつつ、性能の低下を回避する。

Fig. 1 : Hybrid attention/CTC network with LM extension: the shared encoder is trained by both CTC and attention model objectives simultaneously. The joint decoder predicts an output label sequence by the CTC, attention decoder and RNN-LM.

実験結果

リサーチクエスチョン

• RQ1 10言語BABEL語で事前学習した多言語seq2seqモデルを、4つの未学習の低リソース対象言語に、転移学習により効果的に微調整できるか？
• RQ2 デコード段階での多言語RNNLM統合が、さまざまなデータ量の下で認識性能に与える影響は？
• RQ3 低リソースASRにおけるWER低減に、転移学習と言語モデルの相対的寄与度は？
• RQ4 RNNLM統合による性能向上は、利用可能な訓練データ量に比例して増大するか、それとも低データ環境下で最も顕著か？

主な発見

• 多言語事前モデルからの転移学習により、全4言語の平均で6%のWER低減が達成され、データ量にかかわらず一貫した向上が確認された。
• デコード段階での多言語RNNLM統合により、平均で約6%のWER低減が得られ、特に低データ環境（例：5時間分）で最大の向上が観察された。
• アッサム語では、5時間分のデータでRNNLMデコードを適用した結果、20時間分のデータで再訓練したモデルと同等の性能を達成した。これは、データ効率の高さを示している。
• 段階2再訓練とRNNLM統合の組み合わせにより、アッサム語で65.3%、タガログ語で64.3%、スワヒリ語で56.2%、ラオ語で57.9%のWERを達成。これは、訓練データ量を2倍にしたモデルと同等の性能であった。
• RNNLM統合は、転移学習に使用する対象データ量に関わらず、一貫したWER低減効果を示し、データ不足環境下でも頑健であることがわかった。
• 多言語事前学習とRNNLMデコードを統合した共同CTC-アテンションモデルは、単言語モデルや独立したseq2seqシステムを上回り、多様な低リソース言語にわたる一般化性能が顕著に優れていた。

Fig. 2 : Difference in performance for 5 hours, 10 hours, 20 hours and full set of target language data used to retrain a multilingual model from stage-1