[論文レビュー] ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition

Sanchit Gandhi, Patrick von Platen+1 more|arXiv (Cornell University)|Oct 24, 2022

Speech Recognition and Synthesis被引用数 13

ひとこと要約

本論文では、データセット固有のチューニングなしに、多様なデータセットを横断して1つの自動音声認識（ASR）システムを評価するためのマルチドメイン評価フレームワーク、エンドツーエンド音声ベンチマーク（ESB）を紹介する。公平に評価された11の多様なデータセットにおいて、最先端のエンドツーエンドモデルがドメインチューニング済み最先端システムの2.6%以内の語誤り率（WER）を達成することを示しており、評価において句読点や大文字・小文字の表記アーティファクトを保持することが重要であることを強調している。

ABSTRACT

Speech recognition applications cover a range of different audio and text distributions, with different speaking styles, background noise, transcription punctuation and character casing. However, many speech recognition systems require dataset-specific tuning (audio filtering, punctuation removal and normalisation of casing), therefore assuming a-priori knowledge of both the audio and text distributions. This tuning requirement can lead to systems failing to generalise to other datasets and domains. To promote the development of multi-domain speech systems, we introduce the End-to-end Speech Benchmark (ESB) for evaluating the performance of a single automatic speech recognition (ASR) system across a broad set of speech datasets. Benchmarked systems must use the same data pre- and post-processing algorithm across datasets - assuming the audio and text data distributions are a-priori unknown. We compare a series of state-of-the-art (SoTA) end-to-end (E2E) systems on this benchmark, demonstrating how a single speech system can be applied and evaluated on a wide range of data distributions. We find E2E systems to be effective across datasets: in a fair comparison, E2E systems achieve within 2.6% of SoTA systems tuned to a specific dataset. Our analysis reveals that transcription artefacts, such as punctuation and casing, pose difficulties for ASR systems and should be included in evaluation. We believe E2E benchmarking over a range of datasets promotes the research of multi-domain speech recognition systems. ESB is available at https://huggingface.co/esb.

研究の動機と目的

• データセット固有のチューニングなしに、多様なドメインで良好に動作する汎用的な音声認識システムの不足を是正すること。
• 多様で現実世界のデータセットを用いた標準化されたベンチマークを提供することで、マルチドメイン・汎用ASR分野の研究を促進すること。
• 音声および転写の分布にばらつきがある状況下（句読点や大文字・小文字を含む）におけるエンドツーエンドASRシステムの頑健性を評価すること。
• 公平で統一された前処理および後処理条件のもとで、E2Eモデルがドメインをまたいで準最先端性能を達成できることを実証すること。
• 現実世界の音声認識課題を反映させるために、転写アーティファクト（句読点、大文字・小文字）を評価に含めるべきであることを提唱すること。

提案手法

• ESBベンチマークは、複数のドメイン（例：LibriSpeech、Common Voice、TED-LIUM、AMI、SwitchBoardなど）にまたがる11の既存の公開済み音声データセットを対象として、1つのASRシステムの性能を評価する。
• すべてのシステムが、すべてのデータセットで同一のモデルアーキテクチャと同一の前処理・後処理パイプラインを使用しなければならず、事前にデータ分布の知識を得てはならない。
• ベンチマークには必須および任意のデータセットが含まれており、テストセットは最終評価用、検証セットは開発用に使用される。
• 5つの最先端エンドツーエンドASRモデル（wav2vec 2.0、Whisper、Conformer、AED、RNN-T）が同一条件で評価され、公平な比較が保証される。
• 評価には語誤り率（WER）を用い、句読点、大文字・小文字、完全正規化の影響を評価するアブレーションスタディが実施される。
• ベンチマークはHugging Face上で https://huggingface.co/esb にホスティングされており、オープンサイエンスと再現可能性を支援している。

実験結果

リサーチクエスチョン

• RQ1 データセット固有のチューニングなしに、1つのエンドツーエンドASRシステムが多様で現実世界の音声認識ドメインで強力な性能を発揮できるか？
• RQ2 句読点や大文字・小文字といった転写アーティファクトはASR性能にどのように影響するのか？評価に保持すべきか？
• RQ3 最先端エンドツーエンドモデルは、音声およびテキストの分布にばらつきがあるデータセット間でどの程度一般化できるか？
• RQ4 公平な条件のもとで評価された場合、統一されたシステムの性能はドメインチューニング済み最先端システムと比べてどの程度か？
• RQ5 現実世界の評価環境において、後処理（例：句読点や大文字・小文字の削除）がWERに与える影響は何か？

主な発見

• 公平で統一された条件のもとで評価されたエンドツーエンドASRシステムは、ドメイン固有にチューニングされた最先端システムの2.6%以内の相対的語誤り率（WER）を達成した。
• 転写に句読点や大文字・小文字を含めることでWERが顕著に上昇し、これらのアーティファクトがASRシステムにとって非自明な課題であることが示された。
• LibriSpeechテストクリーンセットでは、最良のモデル（RNN-T）が任意の後処理なしに2.0%のWERを達成し、強力なゼロショット一般化能力を示した。
• Common Voiceデータセットでは、完全正規化（句読点や大文字・小文字の削除）により、モデル全体のWERが26.1%から9.7%に低下した。これは正規化が性能を向上させるが、現実世界の状況を反映していない可能性があることを示している。
• AMIミーティングコーパスでは、完全正規化によりWERが32.0%から10.2%に低下した。これは、複雑で口語的な発話状況において、転写アーティファクトの影響が顕著であることを強調している。
• ESBベンチマークは、クリーンで正規化されたデータで学習したシステムが、現実世界の表記に忠実な転写に対しては困難を抱えることを明らかにした。これは、評価において転写アーティファクトへの頑健性を重視する必要があることを示唆している。