[論文レビュー] CoVoST 2: A Massively Multilingual Speech-to-Text Translation Corpus

Changhan Wang, Anne Wu+1 more|arXiv (Cornell University)|Jul 20, 2020

Natural Language Processing Techniques被引用数 40

ひとこと要約

CoVoST 2 は、21 種類の母国語言語から英語へ、および英語から 15 種類のターゲット言語への多言語音声翻訳コーパスであり、これまでで最大のものである。データ品質は健全性チェックにより検証され、CC0 ライセンスで公開されている。

ABSTRACT

Speech translation has recently become an increasingly popular topic of research, partly due to the development of benchmark datasets. Nevertheless, current datasets cover a limited number of languages. With the aim to foster research in massive multilingual speech translation and speech translation for low resource language pairs, we release CoVoST 2, a large-scale multilingual speech translation corpus covering translations from 21 languages into English and from English into 15 languages. This represents the largest open dataset available to date from total volume and language coverage perspective. Data sanity checks provide evidence about the quality of the data, which is released under CC0 license. We also provide extensive speech recognition, bilingual and multilingual machine translation and speech translation baselines.

研究の動機と目的

• 低リソース言語ペアを含む、大規模で多言語の音声翻訳データセットの不足に対処すること。
• 広範な言語カバレッジと大規模なデータ量を備えたデータセットを提供することで、大規模多言語音声翻訳の研究を支援すること。
• 多様な言語的・音声的変異を含む多様な多言語データを通じて、モデルの汎化性能と性能を向上させること。
• 複数の言語ペアにおける音声認識、機械翻訳、エンドツーエンド音声翻訳モデルのベンチマーク評価を可能にすること。

提案手法

• データセットは、Common Voice や OPUS データセットを含む既存の多言語音声およびテキストリソースから構築され、強制アラインメント技術を用いて音声とテキストを自動的にアラインメントしている。
• 音声とテキストのペアは、自動的なデータ健全性チェックを通じてキュレートおよびフィルタリングされ、品質と一貫性が保証されている。
• コーパスには、21 種類の母国語言語から英語への、および英語から 15 種類のターゲット言語への並列データが含まれており、広範な言語的多様性をカバーしている。
• データセットを用いて、音声認識、二国語翻訳および多言語翻訳、エンドツーエンド音声翻訳のベースラインモデルが訓練されている。
• データセットは CC0 ライセンスで公開され、研究におけるアクセシビリティと再利用性を最大化している。
• 音声翻訳、翻訳、ASR タスクの間で一貫したベンチマーク評価を可能にするための評価プロトコルとメトリクスが確立されている。

実験結果

リサーチクエスチョン

• RQ1 大規模多言語環境下において、音声翻訳のモデルパフォーマンスは、高リソース言語ペアと低リソース言語ペアでどのように変化するか？
• RQ2 CoVoST 2 で行なった多言語事前学習は、未学習の言語ペアへのゼロショット転送性能をどの程度向上させるか？
• RQ3 CoVoST 2 で訓練された多言語音声翻訳モデルは、多様な言語タイプおよび音声構造に対して効果的に汎化できるか？
• RQ4 21 種類の母国語言語と 15 種類のターゲット言語を含めることで、エンドツーエンド音声翻訳システムのスケーラビリティと効率性にどのような影響を与えるか？
• RQ5 大規模でオープンな多言語音声翻訳コーパスを構築する際の、主な品質とカバレッジのトレードオフは何か？

主な発見

• CoVoST 2 は、21 種類の母国語言語から英語へ、および英語から 15 種類のターゲット言語への並列データをカバーする、公開済みの多言語音声翻訳データセットの中で最大のものである。
• データ健全性チェックにより、音声とテキストの間の高品質なアラインメントが確認され、信頼性の高いモデル訓練と評価を可能にしている。
• このデータセットにより、低リソースの組み合わせを含む多様な言語ペアにおける強力な多言語音声翻訳ベースラインの訓練が可能になった。
• 音声認識、機械翻訳、音声翻訳のためのベースラインモデルは、競争力のあるパフォーマンスを示しており、このデータセットがベンチマークに有用であることを示している。
• CC0 ライセンスでのデータセット公開により、多言語音声翻訳研究における広範な再利用と再現性が促進された。
• 広範な言語カバレッジにより、言語ペア間でのゼロショットおよびフェイシュート汎化性能の向上を支援するモデル開発が可能になった。