[論文レビュー] FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech

Alexis Conneau, Min Ma+7 more|arXiv (Cornell University)|May 25, 2022

Speech Recognition and Synthesis被引用数 15

ひとこと要約

FLEURSは、FLoRes-101に基づき、人間が検証した録音と高品質なトランスクリプトを備えた102言語の多言語・n方向並列音声およびテキストベンチマークを提供する。これにより、ユニバーサル音声表現の少数-shot評価が可能となり、mSLAMを用いて音声からテキストへの検索で76.9%のP@1、テキストから音声への検索で74.4%のP@1を達成し、多様な言語において強力なゼロショットおよびクロスリンガル能力を示した。

ABSTRACT

We introduce FLEURS, the Few-shot Learning Evaluation of Universal Representations of Speech benchmark. FLEURS is an n-way parallel speech dataset in 102 languages built on top of the machine translation FLoRes-101 benchmark, with approximately 12 hours of speech supervision per language. FLEURS can be used for a variety of speech tasks, including Automatic Speech Recognition (ASR), Speech Language Identification (Speech LangID), Translation and Retrieval. In this paper, we provide baselines for the tasks based on multilingual pre-trained models like mSLAM. The goal of FLEURS is to enable speech technology in more languages and catalyze research in low-resource speech understanding.

研究の動機と目的

• 低リソース言語における少数-shot学習のための、大規模で高品質な多言語音声およびテキストデータセットの不足に対処すること。
• 多様な言語系統および低リソース環境におけるユニバーサル音声表現の評価を可能にすること。
• ASR、音声言語識別、音声翻訳、クロスリンガル検索を含む幅広いタスクを支援すること。
• 品質管理が厳密に施された標準化されたベンチマークを提供することで、データ効率的で多言語対応の音声理解分野の研究を促進すること。

提案手法

• FLoRes-101の開発用および開発テストセットの文ごとに、102言語で3回ずつ人間が録音した発話データを収集し、性別比のバランスを保った。
• 厳格な品質管理を実施：各録音は人間のアノテーターによって元のテキストと一致するかを検証し、一致しない録音は破棄した。
• データ拡張（例：SpecAugmentや速度変更など）を一切行わず、現実の変動をそのまま維持した。
• ASR、音声言語識別、クロスモーダル検索などの下流タスクを対象に、mSLAM（0.6B）およびw2v-BERTといった多言語モデルをFLEURSで微調整した。
• 検索タスクにおけるクロスアテンションベースのクロスモーダル埋め込みの学習に、インバッチネガティブサンプリングを用いたアドディティブマージンソフトマックス損失を使用した。
• 音声からテキスト、テキストから音声への検索の両方についてP@1スコアを用いて性能を評価し、ゼロショットおよび未学習言語への一般化性能も含めた。

Figure 1: Distributions of language families in FLEURS (y-axis is the count).

実験結果

リサーチクエスチョン

• RQ1 mSLAMのような多言語事前学習モデルは、低リソース言語や未学習言語において、少数-shot音声理解タスクにどの程度一般化できるか？
• RQ2 自動アラインメントまたは合成データと比較して、人間が検証した高品質なn方向並列音声およびテキストデータの質と多様性は、少数-shot学習性能にどの程度寄与するか？
• RQ3 音声からテキスト、テキストから音声への検索において、言語系統や言語グループ（例：CJK、南アジア、ヨーロッパ）ごとにモデル性能にどのような差が生じるか？
• RQ4 トークン化の不一致や発音の類似性によって、事前学習済みモデルが低リソース言語やスクリプトが異なる言語（例：オーディア語、ウルドゥ語）でどのような失敗モードを示すか？
• RQ5 1つの統合された多言語表現モデルが、1つのベンチマーク上でASR、音声言語識別、クロスモーダル検索といった多様なタスクを効果的にサポートできるか？

主な発見

• FLEURSはmSLAMを用いて音声からテキストへの検索で平均76.9%のP@1、テキストから音声への検索で74.4%のP@1を達成し、強力なゼロショットおよびクロスリンガル能力を示した。
• CJK言語（例：4.7%のP@1）では性能が著しく低下しており、主に事前学習データと微調整データの間でトークン化の不一致が原因である。
• オーディア語（or）のような言語では、テキストから音声への検索で性能が低いが、これはテキスト事前学習コーパス（MC4）に存在しないにもかかわらず音声データには存在するため、データの不均衡が原因である。
• ウルドゥ語（ur）では、テキストから音声への検索性能が音声からテキストへの検索より低いが、これは他の南アジア言語と発音が類似しているため、音声固有の事前学習がなければ区別が困難になるためである。
• すべてのタスクにおいて、学習済み言語（seen）は未学習言語（unseen）を上回る性能を示し、特に南アジア（SA）および東南アジア（SEA）グループで最大の性能差が観察された。
• mSLAMモデルは、すべてのタスクでw2v-BERTを上回り、音声言語識別では73.4%のF1スコア、音声からテキストへの検索では87.8%のスコアを達成した。これは、音声とテキストを統合的に事前学習することの利点を示している。

Figure 2: Distributions of writing systems in FLEURS (y-axis is the count).