[論文レビュー] Transfer learning of language-independent end-to-end ASR with language model fusion

Hirofumi Inaguma, Jaejin Cho+3 more|arXiv (Cornell University)|Nov 6, 2018

Speech Recognition and Synthesis参考文献 19被引用数 6

ひとこと要約

本稿では、外部言語モデルを事前学習済みの言語に依存しないエンドツーエンドASRシステムのデコーダーに適応段階で統合する「LM融合転移」手法を提案する。外部テキストデータをコールドフュージョンにより微調整中に活用することで、ASR性能が顕著に向上し、先行する転移学習手法よりも最大21.6%の相対的向上を達成し、低リソースデータ（例：約50時間）において最先端のハイブリッドシステムと同等の性能にまでギャップを埋める。

ABSTRACT

This work explores better adaptation methods to low-resource languages using an external language model (LM) under the framework of transfer learning. We first build a language-independent ASR system in a unified sequence-to-sequence (S2S) architecture with a shared vocabulary among all languages. During adaptation, we perform LM fusion transfer, where an external LM is integrated into the decoder network of the attention-based S2S model in the whole adaptation stage, to effectively incorporate linguistic context of the target language. We also investigate various seed models for transfer learning. Experimental evaluations using the IARPA BABEL data set show that LM fusion transfer improves performances on all target five languages compared with simple transfer learning when the external text data is available. Our final system drastically reduces the performance gap from the hybrid systems.

研究の動機と目的

• 少ないトランスクリプトデータしかない新言語への適応を改善することで、低リソース自動音声認識（ASR）の課題に対処すること。
• 外部言語モデル（LM）からの言語的文脈が、エンドツーエンドASRシステムにおける転移学習をどのように向上させるかを調査すること。
• 多言語S2Sモデルの適応段階において、浅い融合、深い融合、コールドフュージョンの異なるLM統合戦略の有効性を検討すること。
• 種モデルの容量と多言語学習データの多様性が、低リソース適応性能に与える影響を評価すること。
• 外部テキストデータをコールドフュージョン転移により統合することで、従来のハイブリッドASRシステムと同等またはそれを上回る性能を低リソース環境で達成できることを実証すること。

提案手法

• 複数の言語に共通する語彙を有する統一されたシーケンス・ツー・シーケンス（S2S）アーキテクチャを用いて、言語に依存しないエンドツーエンドASRシステムを学習する。
• ターゲットの低リソース言語に対して、音声データのみを用いて事前学習済みS2Sモデルを微調整することで、転移学習を実施する（初期の転移ステップ）。
• LM融合転移を導入：適応段階において、外部RNNLMをコールドフュージョンによりデコーダーネットワークに統合し、全適応訓練ステージにわたりLMを統合する。
• 外部テキストデータ（例：IARPA BABEL）を用いてRNNLMを事前学習し、その後S2Sデコーダーと統合することで、推論および学習段階での言語モデル性能を向上させる。
• 浅い融合、深い融合、コールドフュージョンの複数の統合戦略を比較し、異なる量の音声データを有する5つの低リソース言語における性能を評価する。
• モデル容量と多言語学習データ量（600〜2200時間）が、特に外部テキストデータを併用した場合の適応性能に与える影響を評価する。

Fig. 1 : Overview of language model fusion transfer. LM fusion transfer is conducted with monolingual data only.

実験結果

リサーチクエスチョン

• RQ1 外部言語モデルからの言語的文脈は、低リソースエンドツーエンドASRにおける転移学習性能を向上させることができるか？
• RQ2 浅い融合を用いた単純な転移学習と比較して、LM融合転移は低リソース言語におけるWER低減率でどの程度優れているか？
• RQ3 LM融合の有効性は、外部テキストデータの有無とそのサイズに依存するか？
• RQ4 種モデルの選択（多様な多言語データ量で学習されたもの）が適応性能に与える影響は何か？
• RQ5 外部テキストデータが利用可能な状況下で、コールドフュージョン転移は他の統合手法（浅い融合、深い融合）を上回る性能を示すか？

主な発見

• 外部テキストデータが利用可能な状況下で、単純な転移学習に浅い融合を適用する手法と比較して、LM融合転移は、すべての5つの低リソース言語（アッサメー語、スワヒリ語、ラオ語、タガログ語、ズールー語）においてASR性能が顕著に向上した。
• コールドフュージョン転移（CF-転移）は、FLP（約50時間）データセットにおいて、先行する転移学習手法に比べ平均で21.6%の相対的WER低減を達成した。LM融合なしの転移学習に比べ、最大6.8%の向上を示した。
• LLP（約10時間）データセットでは、より大きな外部テキストデータ（FLP）を用いた場合、CF-転移は浅い融合に比べて平均で10.4%の相対的改善を示し、適応段階における言語的文脈の価値を裏付けた。
• 提案手法のエンドツーエンドシステムと最先端のBLSTM-HMMハイブリッドシステムとの性能ギャップは、特に外部テキストデータが使用された場合に著しく縮小された。
• たとえ音声データが10時間しかなくとも、50時間分のテキストで事前学習されたRNNLMを用いることで、WERが顕著に低下した。これは、低リソース環境下で言語的文脈が極めて有益であることを示している。
• 本手法は効率的で実用的である：外部LMを適応段階でのみ統合することで、計算コストは最小限に抑えられ、新言語への迅速な展開に適している。