[论文解读] A Unified Transformer-based Framework for Duplex Text Normalization

Tuan Lai, Yang Zhang+3 more|arXiv (Cornell University)|Aug 23, 2021

Speech Recognition and Synthesis参考文献 24被引用 7

一句话总结

本文提出了一种基于统一Transformer的框架，通过使用单一全双工模型与特定任务前缀，联合执行文本归一化（TN）和逆文本归一化（ITN）。通过结合序列标注头与序列到序列归一化器，并采用数据增强策略，该框架在英语和俄语公开数据集上达到最先进性能，在无需微调的情况下，于内部英语对话数据集上实现超过95%的句级准确率。

ABSTRACT

Text normalization (TN) and inverse text normalization (ITN) are essential preprocessing and postprocessing steps for text-to-speech synthesis and automatic speech recognition, respectively. Many methods have been proposed for either TN or ITN, ranging from weighted finite-state transducers to neural networks. Despite their impressive performance, these methods aim to tackle only one of the two tasks but not both. As a result, in a complete spoken dialog system, two separate models for TN and ITN need to be built. This heterogeneity increases the technical complexity of the system, which in turn increases the cost of maintenance in a production setting. Motivated by this observation, we propose a unified framework for building a single neural duplex system that can simultaneously handle TN and ITN. Combined with a simple but effective data augmentation method, our systems achieve state-of-the-art results on the Google TN dataset for English and Russian. They can also reach over 95% sentence-level accuracy on an internal English TN dataset without any additional fine-tuning. In addition, we also create a cleaned dataset from the Spoken Wikipedia Corpora for German and report the performance of our systems on the dataset. Overall, experimental results demonstrate the proposed duplex text normalization framework is highly effective and applicable to a range of domains and languages

研究动机与目标

• 为解决在生产系统中独立部署文本归一化（TN）和逆文本归一化（ITN）模型所带来的技术与维护开销。
• 将TN与ITN统一为单一神经网络框架，以减少系统异构性与复杂性。
• 通过数据增强与共享表征学习，提升在多样化领域与语言上的泛化能力与性能。
• 在公开数据集（英语、俄语）及基于Spoken Wikipedia新构建的德语数据集上，验证该框架的有效性。
• 将该框架集成至NeMo（NVIDIA开源对话式AI工具包），以促进更广泛的应用。

提出的方法

• 采用双编码器架构，基于Transformer的标注器通过BIO风格标注与任务指示符，识别输入文本中的语义跨度（如数字、日期、URL）。
• 在每个输入序列后附加任务指示前缀（如'TN'或'ITN'），使同一模型能够执行TN与ITN任务。
• 基于T5或mT5的序列到序列归一化器仅处理识别出的跨度，将其转换为归一化形式（如'72' → 'seventy two'）。
• 应用一种简单但高效的增强策略，以提升对罕见或域外样本的鲁棒性与泛化能力。
• 为实现效率与多语言可扩展性，系统采用预训练模型的蒸馏版本（如蒸馏RoBERTa、mT5）。
• 系统在TN与ITN实例上端到端联合训练，实现联合优化与共享表征学习。

实验结果

研究问题

• RQ1 单一神经模型能否有效处理文本归一化与逆文本归一化任务？
• RQ2 使用特定任务前缀如何影响模型在多语言环境下的性能与泛化能力？
• RQ3 数据增强在未见领域上的零样本或少样本性能提升程度如何？
• RQ4 统一框架是否能在准确率与可维护性方面超越专用的单任务模型（仅TN或仅ITN）？
• RQ5 该框架在低资源或领域分布偏移的数据（如对话语句）上泛化能力如何？

主要发现

• 统一全双工系统在Google TN数据集上达到最先进性能，英语句级准确率达98.25%，俄语达93.02%。
• 在内部英语对话数据集（NLU Assistant）上，系统在无需任何微调的情况下实现超过95%的句级准确率，展现出强大的零样本泛化能力。
• 数据增强的引入在所有语言上均持续提升性能，仅在英语单任务TN模型上性能略有下降。
• 在TN任务中，系统在7,551个测试实例中仅出现11次不可恢复错误（0.146%），其中多数错误（7/11）与URL和数字相关。
• 该框架已成功集成至NeMo，NVIDIA开源对话式AI工具包，证实其实际可部署性。
• 所提出的框架在性能上优于或匹配专用单任务模型（仅TN或仅ITN），同时显著降低系统复杂性与维护成本。