[論文レビュー] Large-Scale Self- and Semi-Supervised Learning for Speech Translation

Changhan Wang, Anne Wu+4 more|arXiv (Cornell University)|Apr 14, 2021

Natural Language Processing Techniques参考文献 43被引用数 7

ひとこと要約

この論文は、音声変換2.0の自己教師付き事前学習、大規模なラベルなしLibri-Light音声を用いた1ラウンドの自己学習、および言語モデルデコードを組み合わせることで、CoVoST 2データのみを用いて音声翻訳（ST）のための単純だが効果的なアプローチを提案する。この手法は、4つの言語ペアにおいて平均BLEUスコア25.6の新たなSOTAを達成し、追加の監視情報なしに、先行研究より2.6 BLEUの向上を達成した。

ABSTRACT

In this paper, we improve speech translation (ST) through effectively leveraging large quantities of unlabeled speech and text data in different and complementary ways. We explore both pretraining and self-training by using the large Libri-Light speech audio corpus and language modeling with CommonCrawl. Our experiments improve over the previous state of the art by 2.6 BLEU on average on all four considered CoVoST 2 language pairs via a simple recipe of combining wav2vec 2.0 pretraining, a single iteration of self-training and decoding with a language model. Different to existing work, our approach does not leverage any other supervision than ST data. Code and models will be publicly released.

研究の動機と目的

• 追加のラベル付きASRや機械翻訳データに依存せずに、ラベルなし音声およびテキストデータのみを用いて音声翻訳のパフォーマンスを向上させること。
• 音声翻訳の文脈において、無教師事前学習、自己学習、言語モデル化の有効性と相乗効果を調査すること。
• STデータにのみ依存し、より少ない監視情報で先行手法を上回る、強力で単純な音声翻訳のベースラインを確立すること。

提案手法

• 53,000時間のラベルなしLibri-Light音声データを用いて、強力な音声表現を学ぶためにwav2vec 2.0モデルを事前学習する。
• CoVoST 2 STデータを用いて、ランダムに初期化されたTransformerデコーダーで事前学習済みエンコーダーを微調整し、教師モデルを構築する。
• 教師モデルを用いて、60,000時間のラベルなしLibri-Light音声に対して擬似ラベルを生成し、自己学習用の合成学習データを作成する。
• 本物のCoVoST 2データと擬似ラベル付きLibri-Lightデータの組み合わせを用いて、データの重要度をバランスさせるためにアップサンプリングを施した上で、学生モデルを学習する。
• 単語単位のCommonCrawlデータを用いてターゲット言語の言語モデルを学習し、ビームサーチデコード時にシャロウフュージョンを適用して生成品質を向上させる。
• 事前学習、自己学習、言語モデル化の各コンponentを統合したパイプラインとして統合し、パフォーマンスを最大化する。

実験結果

リサーチクエスチョン

• RQ1 追加の監視情報なしに、自己教師付き事前学習と自己学習を効果的に組み合わせて音声翻訳の性能を向上させることができるか？
• RQ2 ラベルなし音声およびテキストデータの規模が、音声翻訳モデルのパフォーマンスにどのように影響するか？
• RQ3 低リソースST設定において、自己学習と事前学習に加えて言語モデルデコードを組み合わせることで翻訳品質が向上するか？
• RQ4 事前学習と自己学習を組み合わせたパフォーマンス向上が、複数の言語ペアにわたって一貫しているか？
• RQ5 アダプターやLNA微調整を含まない簡素化されたモデルアーキテクチャが、より複雑な先行モデルを上回ることができるか？

主な発見

• 提案手法は、4つの言語ペアにおいてCoVoST 2ベンチマークで平均BLEUスコア25.6の新たなSOTAを達成し、先行SOTAより2.6 BLEUの向上を達成した。
• 60,000時間のLibri-Lightデータを用いた自己学習は、wav2vec 2.0事前学習のみの状態と比較して2.3 BLEUの向上をもたらし、事前学習と自己学習の相乗効果が明確に示された。
• 言語モデルデコードは、事前学習のみのベースラインと比較して1.1 BLEU、事前学習＋自己学習の設定と比較して1.0 BLEUの向上をもたらした。
• 60,000時間（対象）と960時間（比較）のラベルなし音声データを用いた事前学習では、平均で3.0 BLEUの向上が得られ、データスケールの恩恵が確認された。
• 960時間から60,000時間に自己学習データをスケーリングした場合、それぞれ0.6 BLEUおよび0.5 BLEUの段階的向上が得られ、より多くのデータが継続的に利益をもたらすことが示された。
• mBARTと追加のMTデータを用いた先行研究を上回ったことから、STデータのみで、追加の監視情報なしに性能向上を達成できることを実証した。