[論文レビュー] Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
本稿では、事前学習済みASR、MT、TTSモデルから生成された合成データを活用することで、エンドツーエンドの音声翻訳の性能を向上させる弱教師付き学習アプローチを提案する。特にマルチスプーカーTTSからの高品質な合成音声-翻訳ペアを用いて事前学習済みのシーケンス・ツー・シーケンスSTモデルをファインチューニングすることで、マルチタスク学習を上回る性能を達成し、弱教師付きソースからの合成データのみを用いても優れた結果が得られる。
End-to-end Speech Translation (ST) models have many potential advantages when compared to the cascade of Automatic Speech Recognition (ASR) and text Machine Translation (MT) models, including lowered inference latency and the avoidance of error compounding. However, the quality of end-to-end ST is often limited by a paucity of training data, since it is difficult to collect large parallel corpora of speech and translated transcript pairs. Previous studies have proposed the use of pre-trained components and multi-task learning in order to benefit from weakly supervised training data, such as speech-to-transcript or text-to-foreign-text pairs. In this paper, we demonstrate that using pre-trained MT or text-to-speech (TTS) synthesis models to convert weakly supervised data into speech-to-translation pairs for ST training can be more effective than multi-task learning. Furthermore, we demonstrate that a high quality end-to-end ST model can be trained using only weakly supervised datasets, and that synthetic data sourced from unlabeled monolingual text or speech can be used to improve performance. Finally, we discuss methods for avoiding overfitting to synthetic speech with a quantitative ablation study.
研究の動機と目的
- エンドツーエンドの音声翻訳における大規模な並列音声-翻訳データセットの不足に取り組む。
- 音声-トランスクリプトやテキスト-翻訳ペアなどの弱教師付きデータを活用してモデル性能を向上させる。
- 事前学習済みコンponentから生成された合成データが、エンドツーエンドSTにおいてマルチタスク学習を上回る可能性があるかを検証する。
- ラベルなし単語語りテキストや音声からの合成データのみを用いて高品質なSTモデルを訓練できるかを検討する。
- 特にシングルスプーカーTTSを用いた場合に顕著な過学習を回避するため、事前学習エンコーダーを凍結するなど、慎重な訓練戦略を講じる。
提案手法
- 大規模な弱教師付きデータを用いて、STモデルのエンコーダーをASR、デコーダーをMTタスクで事前学習する。
- 高品質なマルチスプーカーTTSモデルを用いて、MTデータセットのテキストを音声に変換することで、合成音声-翻訳ペアを生成する。
- 本物の並列データと合成音声-翻訳ペアの組み合わせを用いて、エンドツーエンドSTモデルをファインチューニングする。
- 合成音声に過学習を防ぐために、ファインチューニング中に事前学習済みエンコーダーを凍結する。特にシングルスプーカーTTSを用いる場合に有効である。
- ラベルなし単語語りテキストや音声を活用し、ASRとMTシステムを段階的に組み合わせるか、TTSを用いて並列データを合成し、追加の事前学習やファインチューニングに使用する。
- データ拡張を適用し、グリフィン・リム音声生成器を用いて、本物のデータと合成データの両方で一貫した音声品質を確保する。
実験結果
リサーチクエスチョン
- RQ1事前学習済みMTおよびTTSモデルから生成された合成データは、マルチタスク学習と比較してエンドツーエンドの音声翻訳性能を顕著に向上させるか？
- RQ2高品質なマルチスプーカーTTSを用いたデータ合成は、シングルスプーカーTTSと比較して、より優れた一般化性能をもたらすか？
- RQ3完全に教師ありの並列データが一切ない状況でも、弱教師付きソースからの合成データのみを用いて高品質なエンドツーエンドSTモデルを訓練できるか？
- RQ4ラベルなし単語語りテキストや音声から得た合成データは、少量の本物の並列データと組み合わせることで、ST性能をどの程度向上させるか？
- RQ5事前学習済みコンponentを凍結するなど、合成音声入力への過学習を防ぐために最も効果的な訓練戦略は何か？
主な発見
- マルチスプーカーTTSから生成された合成データを用いたファインチューニングは、マルチタスク学習を上回り、ドメイン内テストセットでBLEUスコア55.9、ドメイン外テストセットで19.4を達成した。
- ラベルなし単語語りテキストからの合成データを用いることで、バニラモデルのBLEUスコアはドメイン内で49.1から55.9に、ドメイン外で12.1から19.4に向上した。
- ラベルなし単語語り音声からの合成データは、バニラモデルのBLEUスコアをドメイン内52.4、ドメイン外15.3に向上させたが、テキストベースの合成に比べて効果がやや低かった。
- テキストと音声の両方からの合成データを組み合わせることで、ドメイン内で55.8、ドメイン外で16.9のBLEUスコアが得られ、相乗効果が確認された。
- シングルスプーカーTTSを用いた合成データでのファインチューニングは、ドメイン外セットで顕著な性能低下を引き起こした。これは、合成データにおけるプロソディック品質の重要性を示している。
- 合成データでのファインチューニング時に事前学習済みエンコーダーを凍結することが、特に低品質なTTSシステムを用いる場合に過学習を防ぐために不可欠であった。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。