[论文解读] ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition

Sanchit Gandhi, Patrick von Platen+1 more|arXiv (Cornell University)|Oct 24, 2022

Speech Recognition and Synthesis被引用 13

一句话总结

本文提出了端到端语音识别基准（ESB），这是一个多领域评估框架，用于在不针对特定数据集调优的情况下，评估单一自动语音识别（ASR）系统在多样化数据集上的表现。结果表明，在公平评估11个多样化数据集时，最先进的端到端模型在词错误率（WER）上仅比领域调优的最先进系统高出2.6%，凸显了在评估中保留标点符号和大小写等转录特征的重要性。

ABSTRACT

Speech recognition applications cover a range of different audio and text distributions, with different speaking styles, background noise, transcription punctuation and character casing. However, many speech recognition systems require dataset-specific tuning (audio filtering, punctuation removal and normalisation of casing), therefore assuming a-priori knowledge of both the audio and text distributions. This tuning requirement can lead to systems failing to generalise to other datasets and domains. To promote the development of multi-domain speech systems, we introduce the End-to-end Speech Benchmark (ESB) for evaluating the performance of a single automatic speech recognition (ASR) system across a broad set of speech datasets. Benchmarked systems must use the same data pre- and post-processing algorithm across datasets - assuming the audio and text data distributions are a-priori unknown. We compare a series of state-of-the-art (SoTA) end-to-end (E2E) systems on this benchmark, demonstrating how a single speech system can be applied and evaluated on a wide range of data distributions. We find E2E systems to be effective across datasets: in a fair comparison, E2E systems achieve within 2.6% of SoTA systems tuned to a specific dataset. Our analysis reveals that transcription artefacts, such as punctuation and casing, pose difficulties for ASR systems and should be included in evaluation. We believe E2E benchmarking over a range of datasets promotes the research of multi-domain speech recognition systems. ESB is available at https://huggingface.co/esb.

研究动机与目标

• 为解决缺乏在不针对特定数据集调优的情况下，能在多样化领域中表现良好的可泛化语音识别系统的问题。
• 通过创建包含多样化、真实世界数据集的标准化基准，推动多领域、通用型ASR的研究。
• 评估端到端ASR系统在不同语音和转录分布下的鲁棒性，包括标点符号和大小写。
• 证明在公平、统一的预处理和后处理条件下，E2E模型可在各领域中实现接近最先进水平的性能。
• 倡导在评估中包含转录特征（如标点符号、大小写），以反映真实世界语音识别面临的挑战。

提出的方法

• ESB基准在11个预先存在的、公开可用的语音数据集上评估单一ASR系统，涵盖多个领域（如LibriSpeech、Common Voice、TED-LIUM、AMI、SwitchBoard）。
• 所有系统必须在所有数据集中使用相同的模型架构和完全相同的预处理与后处理流程，且在事前不了解数据分布。
• 该基准包含强制和可选数据集，测试集用于最终评估，验证集用于开发。
• 五种最先进的端到端ASR模型（wav2vec 2.0、Whisper、Conformer、AED、RNN-T）在相同条件下进行评估，以确保公平比较。
• 评估采用正字法词错误率（WER），并开展关于标点符号、大小写和完全归一化对WER影响的消融研究。
• 该基准托管于Hugging Face，网址为https://huggingface.co/esb，支持开放科学与可复现性。

实验结果

研究问题

• RQ1 单一端到端ASR系统是否能在不针对特定数据集调优的情况下，在多样化的真实世界语音识别领域中实现优异性能？
• RQ2 转录特征（如标点符号和大小写）如何影响ASR性能？它们是否应在评估中保留？
• RQ3 最先进的端到端模型在音频和文本分布各不相同的多个数据集之间，其泛化能力如何？
• RQ4 在公平条件下评估时，统一系统与领域调优的最先进系统相比，性能如何？
• RQ5 在真实世界评估环境中，后处理（如去除标点符号或大小写）对WER有何影响？

主要发现

• 在公平、统一的评估条件下，端到端ASR系统在词错误率（WER）上仅比针对各领域专门调优的最先进系统高出2.6%的相对值。
• 在转录中包含标点符号和大小写会显著提高WER，表明这些特征对ASR系统构成非平凡挑战。
• 在LibriSpeech测试-纯净集上，表现最佳的模型（RNN-T）在未进行任何后处理的情况下实现了2.0%的WER，展示了强大的零样本泛化能力。
• 在Common Voice数据集中，完全归一化（去除标点符号和大小写）使WER从26.1%降至9.7%，表明归一化可提升性能，但可能无法反映真实世界条件。
• 在AMI会议语料库上，完全归一化使WER从32.0%降至10.2%，凸显了在复杂、非正式语音环境中转录特征的显著影响。
• ESB基准揭示，基于干净、归一化数据训练的系统在真实世界、正字法转录中表现不佳，强调了在评估中对转录特征具备鲁棒性的必要性。