[论文解读] Improving Readability for Automatic Speech Recognition Transcription

Junwei Liao, Şefik Emre Eskimez+6 more|arXiv (Cornell University)|Apr 9, 2020

Natural Language Processing Techniques参考文献 54被引用 19

一句话总结

本文提出了ASR后处理可读性优化（APR），这是一个新颖的NLP任务，通过微调预训练模型，将嘈杂、不连贯的ASR转录文本转化为流畅、语法正确且符合人类阅读习惯的文本。作者通过TTS和ASR技术从GEC数据集中合成110万条APR训练样本，结果表明基于RoBERTa的模型在流畅性和可读性感知指标上显著优于传统流水线，尤其在这些方面表现突出。

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems can achieve high performance in terms of recognition accuracy. However, a perfectly accurate transcript still can be challenging to read due to grammatical errors, disfluency, and other errata common in spoken communication. Many downstream tasks and human readers rely on the output of the ASR system; therefore, errors introduced by the speaker and ASR system alike will be propagated to the next task in the pipeline. In this work, we propose a novel NLP task called ASR post-processing for readability (APR) that aims to transform the noisy ASR output into a readable text for humans and downstream tasks while maintaining the semantic meaning of the speaker. In addition, we describe a method to address the lack of task-specific data by synthesizing examples for the APR task using the datasets collected for Grammatical Error Correction (GEC) followed by text-to-speech (TTS) and ASR. Furthermore, we propose metrics borrowed from similar tasks to evaluate performance on the APR task. We compare fine-tuned models based on several open-sourced and adapted pre-trained models with the traditional pipeline method. Our results suggest that finetuned models improve the performance on the APR task significantly, hinting at the potential benefits of using APR systems. We hope that the read, understand, and rewrite approach of our work can serve as a basis that many NLP tasks and human readers can benefit from.

研究动机与目标

• 为解决尽管识别准确率高但ASR转录文本可读性差的问题。
• 提出一项新的NLP任务——ASR后处理可读性优化（APR），在单步内同时纠正错误并提升流畅性。
• 通过使用GEC数据集、TTS和ASR流水线合成真实APR训练样本，以克服任务特定数据缺乏的问题。
• 采用包括可读性感知WER、BLEU、M2和GLEU在内的综合指标评估APR性能，以更准确反映人类对可读性的感知。

提出的方法

• 通过TTS系统将GEC数据集中语法错误的句子转换为语音，再通过ASR系统转录，生成包含噪声输入与正确输出的配对，从而合成110万条APR训练样本。
• 在合成的APR数据集上微调四种先进的序列到序列模型——MASS、UniLM、RoBERTa和RoBERTa-UniLM，实现端到端的可读性提升。
• 通过改进的UniLM风格预训练目标，将RoBERTa适配于生成任务，构建出更契合APR生成任务的RoBERTa-UniLM模型。
• 采用混合指标套件进行模型评估：可读性感知WER（RA-WER）、BLEU、MaxMatch（M2）和GLEU，其中RA-WER专门设计用于惩罚影响可读性的错误。
• 采用两阶段数据流水线：GEC → TTS → ASR，以模拟真实世界中的ASR错误，同时保持语义一致性。
• 将所有模型与传统基于规则的后处理基线进行对比，以隔离端到端学习带来的性能增益。

实验结果

研究问题

• RQ1 端到端神经网络模型是否能显著提升ASR转录文本的可读性，超越传统基于规则的后处理方法？
• RQ2 利用GEC、TTS和ASR技术进行合成数据生成，在创建高质量、任务特定的APR数据集方面是否有效？
• RQ3 预训练模型如RoBERTa和RoBERTa-UniLM在APR任务上是否显著优于其他架构（如MASS、UniLM）？
• RQ4 在ASR后处理中，WER、BLEU、M2、GLEU等指标中，哪一个最能反映人类感知的可读性？
• RQ5 在单一模型中联合进行错误纠正与流畅性增强，是否优于分步执行纠正的策略？

主要发现

• 基于RoBERTa的模型整体表现最佳，在JFLEG测试集上的可读性感知WER（RA-WER）为13.88，显著优于基线和其他模型。
• RoBERTa-UniLM在M2指标（54.32）和BLEU指标（80.77）上表现优异，表明其在流畅性和对齐性方面有显著提升，尽管训练数据有限且收敛较慢。
• 微调后的模型相比传统流水线将RA-WER降低了30%以上，证明了端到端学习在APR任务中的有效性。
• GLEU指标揭示了权衡关系：较低的WER与较高的BLEU并不总意味着更高的流畅性，提示现有指标可能无法完全捕捉可读性。
• 通过TTS和ASR生成的合成数据在创建大规模、多样化APR数据集方面非常有效，显著提升了模型的泛化能力。
• 即使训练步数有限（7200步），RoBERTa-UniLM也展现出巨大潜力，表明进一步预训练有望带来更大性能提升。