[論文レビュー] VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation

Changhan Wang, Morgane Rivière+7 more|arXiv (Cornell University)|Jan 2, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

VoxPopuli は、23 の言語で合計 400,000 時間のラベルなし音声データと、15 組の言語ペアで 17.3 時間のアライメント済み口頭通訳を含む、1,800 時間のトランスクリプトを備えた大規模なマルチリンガル音声コーパスを提供する。このコーパスは、半教師あり ASR や音声からテキストへの翻訳の性能を著しく向上させ、特にドメイン外設定下でも顕著な効果を示し、表現学習や通訳モデリングへの強力な転送可能性と実用性を示している。

ABSTRACT

We introduce VoxPopuli, a large-scale multilingual corpus providing 100K hours of unlabelled speech data in 23 languages. It is the largest open data to date for unsupervised representation learning as well as semi-supervised learning. VoxPopuli also contains 1.8K hours of transcribed speeches in 16 languages and their aligned oral interpretations into 5 other languages totaling 5.1K hours. We provide speech recognition baselines and validate the versatility of VoxPopuli unlabelled data in semi-supervised learning under challenging out-of-domain settings. We will release the corpus at https://github.com/facebookresearch/voxpopuli under an open license.

研究の動機と目的

• 英語のような高リソース言語を超えて、無教師および半教師あり学習に適した大規模でオープンなマルチリンガル音声データの不足を解消すること。
• 同時通訳戦略をモデル化するために、アライメント済みの口頭通訳を含む包括的なマルチリンガル音声データセットを提供すること。
• 多様で現実世界の音声データを提供することで、低リソース言語やドメイン外の音声からテキストへの翻訳および音声から音声への翻訳に関する研究を可能にすること。
• 広範なラベルなしおよび弱ラベル付きデータを通じて、頑健な自己教師ありおよび弱教師ありモデルの開発を支援すること。
• 自然に発生した口頭通訳を含めることで、翻訳とは異なる通訳固有の音声パターンの研究を促進すること。

提案手法

• 2009 年から 2020 年にかけての欧州議会全体会議および委員会会議の原始音声、トランスクリプト、タイムスタンプを収集した。
• 音声を発話単位に分割し、音声とトランスクリプトをアライメントし、誤りや不完全なセグメントをフィルタリングする自動パイプラインを構築した。
• 音声から音声へのアライメントを活用して、口頭通訳を用いて弱教師あり学習用のデータを生成した。
• ラベルなしデータを用いた自己学習を適用し、ドメイン外のテストセットにおける ASR や音声翻訳モデルの性能を向上させた。
• ラベル付きデータと弱ラベル付きデータを統合して学習することで、モデルの汎化性能と性能を向上させた。
• ドメイン内（EP）およびドメイン外（Common Voice）のベンチマークを用いてモデルを評価し、転送可能性と耐性をテストした。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしマルチリンガル音声データは、多様で低リソース言語において半教師あり ASR や音声翻訳の性能を向上させることができるか？
• RQ2 アライメント済み口頭通訳を用いた弱教師あり学習は、標準的な教師ありまたは疑似ラベル付き手法と比較して、どの程度音声からテキストへの翻訳品質を向上させるか？
• RQ3 VoxPopuli データを用いた自己学習は、ドメイン外のテストセットにおけるモデルの汎化性能をどの程度向上させるか？
• RQ4 翻訳とは異なる、自然に発生した口頭通訳の導入は、エンドツーエンドモデルにおける同時性および通訳戦略のモデリングに良い影響を及ぼすか？
• RQ5 ラベル付きデータと弱ラベル付きデータの組み合わせは、低リソース環境下で単独での利用よりも優れた性能を発揮するか？

主な発見

• VoxPopuli の 400,000 時間分のラベルなしデータを用いた自己学習により、複数の言語においてドメイン内（EP）およびドメイン外（CV）の ASR 性能が一貫して向上した。
• 0.4,000 時間分のアライメント済み口頭通訳を用いた弱教師あり学習は、0.3x～1.8x の追加データを必要とする教師ありベースラインと同等またはそれ以上の性能を達成し、高いデータ効率性を示した。
• ラベル付きデータと弱ラベル付きデータを併用した統合学習は、自己学習および教師ありベースラインを上回った。これは、弱ラベル付きデータが非常に情報量が多く、補完的であることを示している。
• このコーパスのおかげで、音声からテキストへの翻訳性能が著しく向上し、追加のラベル付きデータなしでエンドツーエンドモデルと段階的モデルの性能差を縮小した。
• VoxPopuli のラベルなしデータは強力な転送可能性を示し、低リソース言語においても Common Voice のドメイン外テストセットで性能向上を達成した。
• アライメントパイプラインは高品質な弱教師あり学習を可能にした。弱ラベル付きデータで学習したモデルの高い性能は、アライメントプロセスの信頼性を間接的に裏付けた。