[论文解读] HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models

Chen Chen, Yuchen Hu+4 more|arXiv (Cornell University)|Sep 27, 2023

Speech Recognition and Synthesis被引用 7

一句话总结

本文提出了 HyPoradise，这是首个基于大语言模型（LLMs）的生成式语音识别错误纠正的开放基准。它提出了一种新型数据集，包含跨多样化语音领域的 334,000 对 N-best 假设-转录对，使 LLM 能够直接生成纠正后的转录文本，而非重新排序。该方法通过利用 LLM 进行上下文推理以恢复缺失的词元并纠正错误，实现了显著的 WER 降低，超越了传统重排序方法的性能上限。

ABSTRACT

Advancements in deep neural networks have allowed automatic speech recognition (ASR) systems to attain human parity on several publicly available clean speech datasets. However, even state-of-the-art ASR systems experience performance degradation when confronted with adverse conditions, as a well-trained acoustic model is sensitive to variations in the speech domain, e.g., background noise. Intuitively, humans address this issue by relying on their linguistic knowledge: the meaning of ambiguous spoken terms is usually inferred from contextual cues thereby reducing the dependency on the auditory system. Inspired by this observation, we introduce the first open-source benchmark to utilize external large language models (LLMs) for ASR error correction, where N-best decoding hypotheses provide informative elements for true transcription prediction. This approach is a paradigm shift from the traditional language model rescoring strategy that can only select one candidate hypothesis as the output transcription. The proposed benchmark contains a novel dataset, HyPoradise (HP), encompassing more than 334,000 pairs of N-best hypotheses and corresponding accurate transcriptions across prevalent speech domains. Given this dataset, we examine three types of error correction techniques based on LLMs with varying amounts of labeled hypotheses-transcription pairs, which gains a significant word error rate (WER) reduction. Experimental evidence demonstrates the proposed technique achieves a breakthrough by surpassing the upper bound of traditional re-ranking based methods. More surprisingly, LLM with reasonable prompt and its generative capability can even correct those tokens that are missing in N-best list. We make our results publicly accessible for reproducible pipelines with released pre-trained models, thus providing a new evaluation paradigm for ASR error correction with LLMs.

研究动机与目标

• 解决在噪声、口音和说话风格等不利条件下自动语音识别（ASR）的鲁棒性差距。
• 克服传统语言模型重排序方法的局限性，即在选出最优候选后丢弃 N-best 假设。
• 通过利用 LLM 从 N-best 假设中生成纠正后的转录文本，提出一种 ASR 错误纠正的新范式。
• 建立一个可复现的开源基准，涵盖多样化的真实世界语音领域，以评估 LLM 增强的 ASR 系统。
• 在低资源或特定领域场景中，支持零样本、少样本及微调设置，以实现实际部署。

提出的方法

• 作者构建了 HyPoradise（HP）数据集，包含来自先进 ASR 系统在嘈杂、有口音及语境复杂的语音领域中生成的超过 334,000 对 N-best 假设与真实转录。
• 该基准支持三种设置：零样本（无标注数据）、少样本（少量领域内配对）和微调（充足的训练数据），以模拟真实世界部署约束。
• LLM 被提示直接从 N-best 假设中生成正确转录，使用少样本上下文学习或微调，而非从列表中选择。
• 该方法利用 LLM 的生成能力，恢复 N-best 列表中不存在的缺失或错误词元，实现超越重排序的纠错能力。
• 评估采用词错误率（WER），并计划扩展至结构化标注（如实体跨度和依存句法分析），以实现更丰富的评估。
• 该框架已公开发布，包含预训练模型、代码及 HuggingFace 数据集卡片，以确保可复现性并促进社区贡献。

Figure 1: The left part shows the pipeline to generate the N-best hypotheses using a vanilla ASR engine with beam search decoding. The right part counts the probabilities of case (i) and case (ii) on the test set of LibriSpeech dataset. It indicates the discarded information in $2^{nd}\sim 20^{th}$

实验结果

研究问题

• RQ1 LLM 是否能通过利用多个 N-best 假设，生成比传统重排序更准确的转录？
• RQ2 LLM 在上下文推理下，能在多大程度上恢复 N-best 列表中缺失的词元？
• RQ3 在低资源或特定领域场景中，零样本和少样本 LLM 提示策略在 ASR 错误纠正中的有效性如何？
• RQ4 所提出的生成式纠正方法是否能超越传统重排序方法的性能上限？
• RQ5 LLM 基于的纠正方法在涵盖噪声、口音和未登录词等多样化语音领域中的鲁棒性如何？

主要发现

• 所提出的基于 LLM 的生成式纠正方法显著降低了词错误率（WER），优于传统重排序技术。
• 该方法通过恢复 N-best 列表中不存在的缺失或错误词元，超越了传统重排序的性能上限。
• 在零样本和少样本设置中，经过适当提示的 LLM 实现了强大的错误纠正性能，展现出跨领域的泛化能力。
• 即使目标词在 N-best 假设中完全缺失，模型也能借助上下文和语言知识正确推断并生成正确词汇。
• HyPoradise 基准支持可复现的评估，并已持续维护，更新中加入了抗噪和多语言 ASR 场景。
• 数据集和模型可通过 GitHub 和 HuggingFace 公开获取，支持社区扩展与长期维护。

Figure 2: A scalable evaluation of Task-Activating Prompting [ 100 ] (TAP) based in-context learning. The demonstration in blue box is drawn from the training set, which is optional for LLMs input.