[論文レビュー] CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus

Changhan Wang, Juan Pino+2 more|arXiv (Cornell University)|Feb 4, 2020

Natural Language Processing Techniques参考文献 24被引用数 11

ひとこと要約

CoVoST は、11 言語（例：フランス語、ドイツ語、スペイン語）の英語への音声-to-テキスト翻訳コーパスであり、708 時間の音声、11,000 人を超える話者、60 種類以上の発音を含む。本論文では、最初のエンドツーエンドの多対一多言語音声翻訳モデルを提示し、多言語学習により高リソースおよび中リソース言語で性能向上を実証。フランス語では BLEU スコアが 13.38、中国語では 4.71 に達した（フランス語と併用時）。

ABSTRACT

Spoken language translation has recently witnessed a resurgence in popularity, thanks to the development of end-to-end models and the creation of new corpora, such as Augmented LibriSpeech and MuST-C. Existing datasets involve language pairs with English as a source language, involve very specific domains or are low resource. We introduce CoVoST, a multilingual speech-to-text translation corpus from 11 languages into English, diversified with over 11,000 speakers and over 60 accents. We describe the dataset creation methodology and provide empirical evidence of the quality of the data. We also provide initial benchmarks, including, to our knowledge, the first end-to-end many-to-one multilingual models for spoken language translation. CoVoST is released under CC0 license and free to use. We also provide additional evaluation data derived from Tatoeba under CC licenses.

研究の動機と目的

• 多様で大規模な多言語音声-to-テキスト翻訳データセットが、複数の話者や発音を含んでいないという課題に対処する。
• 英語中心またはドメイン特化のデータセットを超える、高リソースで多様なコーパスを提供することで、エンドツーエンドの多言語音声翻訳分野の研究を促進する。
• エンドツーエンドフレームワークでこれまで未解決であった、多対一多言語音声翻訳のためのベースラインモデルを確立する。
• トランスクリプト単位のグループ化に基づく、話者変動に対するモデルの頑健性を評価するためのマルチ話者評価指標を導入する。

提案手法

• Common Voice データから CoVoST を構築し、元の音声と翻訳テキストの文単位でのアライメントを用いた。
• Tatoeba から追加の評価データを収集し、モデルの頑健な評価を可能にする多様でドメイン外のテストセットを確保した。
• テストサンプルをトランスクリプトごとにグループ化することでマルチ話者評価プロトコルを設計し、平均 BLEU と変動係数を計算してモデルの安定性を評価した。
• CoVoST のトレーニングスプリットを用いて、バイリンガルおよびマルチリンガル設定のエンドツーエンドのシーケンス・ツー・シーケンスモデルを訓練した。
• 複数の話者が存在するトランスクリプト間での性能を正規化する新しい評価指標である BLEU_MS を導入し、モデルの分散を測定するための CoefVar_MS を提案した。
• 監視付きデータのみで学習した、最初に知られているエンドツーエンドの多対一多言語 ST ベースラインモデルを提供した。

実験結果

リサーチクエスチョン

• RQ1 多言語学習は、低リソース言語や距離の遠い言語対（例：ロシア語-フランス語）を含む、多様な言語で音声-to-テキスト翻訳の性能を向上させることができるか？
• RQ2 同じコンテンツを翻訳する際、話者や発音によってモデルの性能はどのように変化するか？
• RQ3 複数のソース言語を組み合わせることで、フランス語 や ドイツ語 といった高リソースターゲット言語の翻訳品質にどのような影響を与えるか？
• RQ4 性別、年齢、発音の違いといった多様な話者特性に対して、エンドツーエンドの多言語 ST モデルの性能はどれほど安定しているか？
• RQ5 1 つのモデルに複数の言語を組み込むことで、話者変動への一般化性能と頑健性が向上するか？

主な発見

• CoVoST コーパスは 11 言語の多言語音声-to-テキスト翻訳データを合計 708 時間分含み、公開データセットの中でフランス語とドイツ語の期間が最も長い。
• 複数のソース言語を組み合わせた多言語モデルは、フランス語（13.38 BLEU） や ドイツ語（3.3 BLEU） といった高リソース言語で一貫して BLEU スコアを向上させ、距離の遠い言語対（例：ロシア語-フランス語）に対しても改善が見られた。
• ドイツ語＋フランス語（De+Fr） や 中国語＋フランス語（Zh+Fr） のように複数言語を追加することで、BLEU_MS スコアはそれぞれ 10.06 と 12.65 に向上し、多様な話者間での平均性能の向上を示した。
• 話者多様性が高く、学習データが限られている言語ではモデルの安定性（CoefVar_MS）が最も低く、ドイツ語とペルシャ語はそれぞれ 2.12 と 0.67 で最も不安定だった。
• 変動係数指標により、多言語モデルが異なる言語組み合わせにおいて類似した安定性（CoefVar_MS ≈ 0.8–1.2）を維持していることが判明し、話者変動に対して頑健であることが示された。
• CoVoST データセットとベースラインは CC0 および CC ライセンスで公開されており、コミュニティの広範な利用と多言語音声翻訳分野におけるさらなる研究を可能にしている。