[論文レビュー] SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations

Paul-Ambroise Duquenne, Hongyu Gong+8 more|arXiv (Cornell University)|Nov 8, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、ヨーロッパ議会の記録から抽出したマルチリンガルな音声対音声翻訳コーパスであるSpeechMatrix（SM）を紹介する。このコーパスは136の言語ペアと418,000時間の同期音声を含み、大規模なマルチリンガル音声対音声翻訳（S2ST）の実現を可能にする。著者らは、マイニングされたデータのみを用いても高いS2ST性能を達成することを示し、マルチリンガル学習、モデル事前学習、Mixture-of-Experts（MoE）のスパarsityが複数のベンチマークで翻訳品質を顕著に向上させることを示している。

ABSTRACT

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

研究の動機と目的

• 音声対音声翻訳（S2ST）における深刻なデータ不足問題を解決するため、大規模で自由に利用可能なマルチリンガル音声対音声コーパスの構築を目的とする。
• 17言語と136の言語ペアにおけるマイニングされた音声同期の品質と有用性を評価することを目的とする。
• マルチリンガルS2ST学習の検討を行い、事前学習とスパースモデルスケーリング（MoE）による性能向上を実証することを目的とする。
• 共通のマルチリンガル表現を用いて、ゼロショットおよびフェイントショットの転移学習を可能にする。

提案手法

• Duクエンヌら（2021）のマルチリンガル音声・テキスト文の埋め込みを活用し、ヨーロッパ議会コーパス内の17言語で音声対音声の同期をマイニングした。
• 17言語のマルチリンガルHuBERTモデルを訓練し、下流のS2STおよび音声合成器の訓練に用いる離散的音声ユニットを抽出した。
• 共通のエンコーダ・デコーダアーキテクチャを有するsequence-to-sequenceモデルを用いて、マルチリンガル音声対音声翻訳パイプラインを構築した。
• GShardおよびベースレイヤーのスパarsityを用いたMixture-of-Experts（MoE）を適用し、推論コストの比例的増加なしにモデル容量を効率的に拡張した。
• HuBERT や mBART などの事前学習モジュールを用いて、低リソース環境における初期化と一般化性能を向上させた。
• BLEUスコアを用いて Europarl-ST、VoxPopuli、FLEURS ベンチマークでモデルを評価し、データ選択およびモデルアーキテクチャに関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 マルチリンガル埋め込みを用いて、単一言語の音声とテキストから大規模かつ効果的なマルチリンガル音声対音声同期をマイニングできるか？
• RQ2 ゼロショットおよびインドメイン性能の観点から、マルチリンガルS2ST学習はバイリンガル学習と比べてどのように異なるか？
• RQ3 モデル事前学習とMixture-of-Expertsスパarsityは、マイニングされたデータ上でのS2ST性能にどの程度向上効果をもたらすか？
• RQ4 マイニングされた同期の品質は、人手による並列データが存在しない状況でも、強力なS2ST性能を実現できるか？

主な発見

• SpeechMatrixは136の言語ペアにわたり418,000時間の音声を含み、現在までに公開されている最大規模の自由利用可能なマルチリンガルS2STコーパスである。
• マイニングされたデータのみで学習されたバイリンガルS2STモデルは、ベースラインモデルと比較して、Europarl-STおよびVoxPopuliで平均+3.8 BLEUのスコア向上を達成した。
• XM Transformerを用いたマルチリンガル学習では、バイリンガル学習と比較して、Europarl-STで+7.9 BLEU、FLEURSで+5.1 BLEUのスコア向上を達成した。
• GShard（64エキスパート）を用いたMoEベースのスパーススケーリングは、Europarl-STで密度モデルと比較して平均+1.0 BLEUのスコア向上を達成した。特にインドメインではより顕著な向上が見られた。
• MoE-GShard（43億パラメータ）を用いた全言語対英語マルチリンガルモデルは、同じFLOPsを有する密度モデル（12億パラメータ）と比較して、Europarl-STで+0.9 BLEU、FLEURSで+0.2 BLEUのスコア向上を達成した。
• 17言語すべてに拡張した場合、アウトオブドメインのFLEURSでは性能がわずかに低下した。これは、マルチリンガル一般化におけるドメインシフトの課題を示している。