[論文レビュー] Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation

Changhan Wang, Juan Pino+1 more|arXiv (Cornell University)|Jun 9, 2020

Speech Recognition and Synthesis参考文献 40被引用数 7

ひとこと要約

本稿では、転移学習を用いて低リソースのエンドツーエンド自動音声認識（ASR）を改善するため、中間タスクとして音声対テキスト翻訳（ST）を活用することを提案する。機械翻訳（MT）で翻訳された高リソースASRトランスクリプトを用いてSTモデルを訓練することで、STとターゲットASR間で完全なモデル共有が可能となり、人的にアノテートされた翻訳が不要であるにもかかわらず、低リソース言語で最大17.6%のWER低減を達成する。

ABSTRACT

Transfer learning from high-resource languages is known to be an efficient way to improve end-to-end automatic speech recognition (ASR) for low-resource languages. Pre-trained or jointly trained encoder-decoder models, however, do not share the language modeling (decoder) for the same language, which is likely to be inefficient for distant target languages. We introduce speech-to-text translation (ST) as an auxiliary task to incorporate additional knowledge of the target language and enable transferring from that target language. Specifically, we first translate high-resource ASR transcripts into a target low-resource language, with which a ST model is trained. Both ST and target ASR share the same attention-based encoder-decoder architecture and vocabulary. The former task then provides a fully pre-trained model for the latter, bringing up to 24.6% word error rate (WER) reduction to the baseline (direct transfer from high-resource ASR). We show that training ST with human translations is not necessary. ST trained with machine translation (MT) pseudo-labels brings consistent gains. It can even outperform those using human labels when transferred to target ASR by leveraging only 500K MT examples. Even with pseudo-labels from low-resource MT (200K examples), ST-enhanced transfer brings up to 8.9% WER reduction to direct transfer.

研究の動機と目的

• 高リソース言語からの強化された転移学習により、低リソースのエンドツーエンドASRパフォーマンスを向上させること。
• 高リソースASRモデルからの直接的転移における言語固有の語彙不一致の課題に対処すること。
• ASRとSTのアーキテクチャと共有語彙を整えることで、ASRとST間の完全なモデル共有を可能にすること。
• 機械翻訳（MT）から得られる偽ラベルが、ST学習における人的にアノテートされた翻訳の代わりに効果的に機能することを示すこと。
• 上流のST転移が下流の低リソースASRにどのように効果をもたらすか、特に半教師あり学習やより良い偽ラベルを用いる場合の影響を調査すること。

提案手法

• ASRとSTの両方で共有されるアテンションベースのエンコーダデコーダアーキテクチャを用いることで、パラメータ共有と滑らかな転移を実現する。
• MTモデルを用いて、高リソースASRトランスクリプトをターゲットの低リソース言語に機械翻訳し、その翻訳結果を用いてSTモデルを訓練する。
• MTシステム（例：Transformer base/big）から得られる偽ラベルを、STモデルの学習ターゲットとして活用し、人的にアノテートされた翻訳の必要性を回避する。
• MT偽ラベルを用いてデータ分布を単純化し、ST学習におけるノイズを低減する知識蒸留の原則を適用する。
• 強力な音声表現を保持するため、事前学習済みの高リソースASRモデルからSTモデルをファインチューニングする。
• 高リソースおよび低リソース言語を同時にサポートするユニバーサルASRモデルを訓練することで、多言語設定への拡張を図る。

Figure 1: An overview of proposed transfer learning pipeline.

実験結果

リサーチクエスチョン

• RQ1 音声対テキスト翻訳を中間タスクとして用いることで、低リソースのエンドツーエンドASRにおける転移学習パフォーマンスが向上するか？
• RQ2 MTから得られる偽ラベルは、人的にアノテートされた翻訳と比較して、ASR転移のためのSTモデル学習においてどの程度有効か？
• RQ3 より多くのデータや自己学習を用いて上流のSTモデルを改善することで、低リソース言語における下流のASRパフォーマンスが向上するか？
• RQ4 STとASRアーキテクチャ間の完全なモデル共有が、転送効率とパフォーマンスにどの程度寄与するか？
• RQ5 提案手法は、共有エンコーダデコーダアーキテクチャを用いた多言語ASR設定へ一般化可能か？

主な発見

• STベースの転移学習アプローチにより、モンゴル語などの低リソース言語で最大17.6%のWER低減が達成された。これは、高リソースASRから直接転移する手法と比較しての成果である。
• ポルトガル語では10%を超える相対的WER低減が達成され、低リソース環境下での顕著な向上が示された。
• MTシステム（例：OpenSubtitles上のTransformer base）から得られる偽ラベルは、十分な学習データがある場合、人的にアノテートされた翻訳と同等のSTモデル性能を達成する。
• MT偽ラベルを用いて訓練されたSTモデルは、下流のASRパフォーマンスを向上させ、さらに半教師あり学習や高品質な偽ラベルを用いることで、さらなる向上が得られた。
• 特に低リソース状況において、高リソースASRからの直接的ファインチューニングよりも優れた性能を示した。これは、より良い言語モデル化と知識転送が可能になったためである。
• 多言語設定では、ST強化型の転送パイプラインが、ハイチ語やモンゴル語を含む複数の低リソース言語において、一貫してASRパフォーマンスを向上させた。

Figure 2: Learning curve (training accuracy) for Mongolian (lowest-resource) and Vietnamese (highest-resource).