[論文レビュー] Multilingual Speech Translation with Efficient Finetuning of Pretrained Models

Xian Li, Changhan Wang+7 more|arXiv (Cornell University)|Oct 24, 2020

Natural Language Processing Techniques参考文献 46被引用数 27

ひとこと要約

この論文は、事前学習された wav2vec 2.0 および mBART モデルの LayerNorm と Attention (LNA) パrameter のみを微調整することにより、パラメータおよびデータ効率に優れた多言語音声翻訳手法を提案する。この手法は CoVoST 2 および Europarl ベンチマークで最先端の結果を達成し、En-X 方向で平均 +6.4 BLEU、X-En 方向で +5.1 BLEU の向上を達成した。パラメータの 10–50% のみをトレーニングし、強力なゼロショット多言語およびマルチモodal トランスファーを可能にした。

ABSTRACT

We present a simple yet effective approach to build multilingual speech-to-text (ST) translation by efficient transfer learning from pretrained speech encoder and text decoder. Our key finding is that a minimalistic LNA (LayerNorm and Attention) finetuning can achieve zero-shot crosslingual and cross-modality transfer ability by only finetuning less than 10% of the pretrained parameters. This enables effectively leveraging large pretrained models with low training cost. Using wav2vec 2.0 for acoustic modeling, and mBART for multilingual text generation, our approach advanced the new state-of-the-art for 34 translation directions (and surpassing cascaded ST for 23 of them) on large-scale multilingual ST benchmark CoVoST 2 (+6.4 BLEU on average across 15 En-X directions and +5.1 BLEU on average across 19 X-En directions). Our approach demonstrates strong zero-shot performance in a many-to-many multilingual model (+5.7 BLEU on average across 18 non-English directions), making it an appealing approach for attaining high-quality speech translation with improved parameter and data efficiency.

研究の動機と目的

• 大規模な事前学習モデルの微調整を最小限に抑えながら、高品質な多言語音声翻訳を可能にすること。
• 低リソース翻訳方向におけるデータ不足を、ゼロショット多言語およびマルチモーダルトランスファーを活用することで解決すること。
• アーキテクチャの変更なしに、エンドツーエンドの音声翻訳におけるパラメータおよびデータ効率を向上させること。
• すべての方向に並列データが存在しない多対多多言語翻訳において、強力なゼロショット性能を示すこと。
• 事前学習された音声モデルと多言語テキストモデルを組み合わせた、シンプルで効果的な転移学習フレームワークを確立すること。

提案手法

• この手法は、音声表現用に事前学習された wav2vec 2.0 エンコーダーと、テキスト生成用に多言語化された mBART デコーダーを組み合わせる。
• ストライド付き 1D 畳み込みを備えた軽量な長さアダプタが、音声とテキスト表現間のシーケンス長の不一致を補正する。
• LayerNorm と Attention (LNA) パrameter のみを微調整する——全パラメータの 10% 未満——これにより高い効率性が実現される。
• 音声翻訳とテキスト翻訳の両タスクを同時に微調整することで性能が向上する。
• ゼロショット多言語間トランスファー（例：A→B で学習し、A→C でテスト）とゼロショット多言語トランスファー（例：A→B と B→C で学習し、A→C でテスト）をサポートする。
• エンドツーエンドで学習され、シーケンス・トゥ・シーケンス生成のためのクロスエントロピー損失が使用され、事前学習モデルの LNA コンponent のみが使用される。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルの小さなパラメータサブセット（例：LayerNorm と Attention）の微調整のみで、多言語音声翻訳において高い性能を達成できるか？
• RQ2 この手法は、ターゲット言語ペアの並列データが存在しない場合でも、どの程度ゼロショット多言語間トランスファーを可能にするか？
• RQ3 音声翻訳とテキスト翻訳の両タスクを同時に微調整することで、全体の性能にどのような影響を与えるか？
• RQ4 このアプローチは、高いパラメータおよびデータ効率を維持しながら、最先端の結果を達成できるか？
• RQ5 この手法は、すべての方向に並列データが存在しない多対多多言語翻訳に、効果的に一般化できるか？

主な発見

• 提案された LNA 微調整戦略は、CoVoST 2 で 15 の英語から X への翻訳方向で平均 +6.4 BLEU、19 の X から英語への翻訳方向で +5.1 BLEU の向上を達成し、以前のエンドツーエンドモデルを上回った。
• この手法は CoVoST 2 で 34 の翻訳方向において新しい最先端の結果を達成し、平均で最大 +6.4 BLEU の向上を記録した。
• Europarl ベンチマークでは、ゼロショット多言語多対多モデルが 18 の非英語方向で平均 +5.7 BLEU の向上を達成し、1.6 倍のデータで学習されたモデルを上回った。
• パラメータの 10–50% のみ（具体的には LNA コンponent）を微調整することで、フル微調整と同等の性能が得られ、高いパラメータ効率が示された。
• モデルは強力なゼロショット多言語間トランスファーを示し、追加の微調整なしに未学習の言語ペアにも一般化した。
• アブレーションスタディにより、LayerNorm と Attention パラメータ（LNA）のみの微調整が、パープレキシティにほとんど影響を与えず、BLEU スコアに顕著な向上をもたらすことが確認された。