[論文レビュー] MediaSpeech: Multilanguage ASR Benchmark and Dataset

Rostislav Kolobov, Ольга Владимировна Охапкина+6 more|arXiv (Cornell University)|Mar 30, 2021

Speech Recognition and Synthesis参考文献 14被引用数 13

ひとこと要約

MediaSpeechは、公式YouTubeチャンネルから収集したスペイン語、フランス語、ターキッシュ語、アラビア語の4言語をカバーする10時間以上のオープンソースで多言語対応のASRベンチマークデータセットを提供する。手動によるトランスクリプションにより、推定WERは5%未満であり、複数の商業的およびオープンソースASRシステムの評価が行われ、各言語用に微調整されたQuartzNetベースラインが公開され、多様なメディアコンテンツにおける標準化された多言語ASR評価を可能にする。

ABSTRACT

The performance of automated speech recognition (ASR) systems is well known to differ for varied application domains. At the same time, vendors and research groups typically report ASR quality results either for limited use simplistic domains (audiobooks, TED talks), or proprietary datasets. To fill this gap, we provide an open-source 10-hour ASR system evaluation dataset NTR MediaSpeech for 4 languages: Spanish, French, Turkish and Arabic. The dataset was collected from the official youtube channels of media in the respective languages, and manually transcribed. We estimate that the WER of the dataset is under 5%. We have benchmarked many ASR systems available both commercially and freely, and provide the benchmark results. We also open-source baseline QuartzNet models for each language.

研究の動機と目的

• 実世界のメディアコンテンツにおけるオープンで多様かつ代表的な多言語ASRベンチマークの不足を解消すること。
• スペイン語、フランス語、ターキッシュ語、アラビア語の4つの主要言語におけるASRシステムの標準化された評価データセットを提供すること。
• 音声の教科書やTEDトークスなどの特化したデータセット（例：オーディオブック、TEDトークス）に依存するのを減らすこと。
• 各言語に特化した微調整済みのオープンソースベースラインモデルとしてのQuartzNetを提供し、一貫したベンチマーク評価を可能にすること。
• 実世界のメディア音声上で、商業的およびオープンソースASRシステムの公平で再現可能な比較を可能にすること。

提案手法

• データセットMediaSpeechは、スペイン語、フランス語、ターキッシュ語、アラビア語の4言語におけるメディア組織の公式YouTubeチャンネルから収集された。
• 高品質なトランスクリプションを確保するため、音声セグメントは手動でトランスクリプトされた。推定WERは5%未満である。
• 多様なASRシステム（商業的およびオープンソース）を評価し、ベンチマーク性能を確立した。
• 4言語すべてに対して、MediaSpeechデータセットで微調整されたベースラインQuartzNetモデルを訓練し、標準化された基準モデルとして提供した。
• ベンチマーク評価には、実世界のメディア音声上で各システムのWER比較が含まれ、直接的な性能分析が可能である。
• すべてのデータ、トランスクリプト、および訓練済みモデルはオープンソースとして公開され、再現性と今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 多様で実世界の多言語音声データセット上で評価された場合、さまざまなASRシステムの性能はどのように変動するか？
• RQ2 公式YouTubeチャンネルから収集した多言語メディア音声データセットで達成可能な語誤り率（WER）はどの程度か？
• RQ3 技術的でないメディア分野の音声において、オープンソースと商業ASRシステムの耐性と正確性はどのように比較できるか？
• RQ4 標準モデル（例：QuartzNet）が、この新しい多言語ベンチマークで効果的に微調整可能であるか、その程度はどの程度か？
• RQ5 標準化され、オープンで多様な多言語ASRベンチマークは、ASR研究における再現性と公平性を向上させることができるか？

主な発見

• MediaSpeechデータセットは、4言語すべてで推定語誤り率（WER）が5%未満であることを達成しており、高品質なトランスクリプションを示している。
• 複数の商業的およびオープンソースASRシステムがデータセット上で評価され、言語ごとの包括的な性能比較が可能になった。
• 4言語すべてに対して、成功裏に訓練され、公開された微調整済みQuartzNetモデルが提供され、信頼できる基準モデルとして機能している。
• ベンチマークは、実世界のメディアコンテンツにおけるASRシステムの一貫性・再現可能な評価を可能にし、合成または限定ドメインのデータセットへの依存を減らした。
• データセットおよびモデルのオープンソース化により、透明性、再現性、多言語ASR分野における今後の研究が促進された。
• データセットは、多様な発音、話し方、背景ノイズを含む、実世界のメディア音声の強い代表性を示している。