[论文解读] DeepNorm-A Deep Learning Approach to Text Normalization

Maryam Zare, Shaurya Rohatgi|arXiv (Cornell University)|Dec 17, 2017

Natural Language Processing Techniques参考文献 6被引用 7

一句话总结

本文提出 DeepNorm，一种混合深度学习模型，结合梯度提升分类与序列到序列 RNN，以提升文本归一化的准确性。通过将预测的语义类别标签作为序列模型的上下文，该模型在计算资源有限的 Kaggle 数据集上实现了 97.62% 的测试准确率，优于基线 RNN 模型，并在训练时间与硬件资源受限的情况下，接近谷歌的最先进结果。

ABSTRACT

This paper presents an simple yet sophisticated approach to the challenge by Sproat and Jaitly (2016)- given a large corpus of written text aligned to its normalized spoken form, train an RNN to learn the correct normalization function. Text normalization for a token seems very straightforward without it's context. But given the context of the used token and then normalizing becomes tricky for some classes. We present a novel approach in which the prediction of our classification algorithm is used by our sequence to sequence model to predict the normalized text of the input token. Our approach takes very less time to learn and perform well unlike what has been reported by Google (5 days on their GPU cluster). We have achieved an accuracy of 97.62 which is impressive given the resources we use. Our approach is using the best of both worlds, gradient boosting - state of the art in most classification tasks and sequence to sequence learning - state of the art in machine translation. We present our experiments and report results with various parameter settings.

研究动机与目标

• 为解决文本归一化在 TTS 和 ASR 系统中的挑战，其中上下文相关的标记归一化具有困难性。
• 通过将语义类别预测作为上下文输入引入序列到序列模型，提升归一化准确性。
• 与先前基于大规模 RNN 的方法（如谷歌的 5 天 GPU 训练）相比，减少训练时间与资源消耗。
• 研究模型架构、词汇表大小与序列长度对不同标记类型归一化性能的影响。
• 识别归一化中的失败模式，特别是 VERBATIME 与 ELECTRONIC 等罕见或复杂类别，并提出改进方案。

提出的方法

• 采用两阶段流程：首先，使用梯度提升分类器（XGBoost）预测每个输入标记的语义类别。
• 将预测的类别标签与输入标记拼接后，输入编码器-解码器 RNN 架构，实现序列到序列的归一化。
• 模型使用注意力机制，并在 10 个周期内使用 Adam 优化器与学习率衰减进行训练。
• 由于 GPU 显存限制，词汇表大小被限制在 100,000 个标记，影响低频类别上的性能。
• 编码器输入序列长度受到限制，导致模型处理长标记（如 URL 或复杂电话号码）的能力受限。
• 通过调整编码器/解码器层数与隐藏单元数量等超参数对模型进行微调，并在 600,000 个样本的测试集上评估性能。

实验结果

研究问题

• RQ1 将强分类器与序列到序列模型结合，是否能相比端到端 RNN 提升文本归一化准确性？
• RQ2 将预测的语义类别标签作为上下文输入，对不同标记类型归一化性能的影响如何？
• RQ3 词汇表大小与编码器序列长度在多大程度上限制了模型在罕见或长格式标记上的性能？
• RQ4 模型在 DATE、CARDINAL、DIGIT、TELEPHONE、MONEY、VERBATIME 与 ELECTRONIC 等语义类别上的准确率如何变化？
• RQ5 在有限硬件条件下训练的轻量化模型，是否能达到与谷歌等大规模模型相当的性能？

主要发现

• 该模型在 600,000 个样本的测试集上实现了 97.62% 的测试准确率，展现出在极低计算资源下仍具强大性能。
• 在 DATE、CARDINAL 与 DIGIT 类别上表现最佳，能高度一致地将 2016 正确归一化为 'twenty sixteen' 或 'two thousand and sixteen'。
• 在 VERBATIME 与 ELECTRONIC 类别上性能显著下降，准确率降低主要由于词汇表大小有限与编码器上下文窗口过短。
• 增加编码器单元数量可提升准确率，而增加层数则影响甚微。
• 模型在长序列（如 40+ 字符标记）上表现困难，常生成无关字符或遗漏词语，表明其上下文保留能力有限。
• 作者结论认为，若采用 LSTM 等更强的分类器替代 XGBoost，可能进一步提升结果，尤其对罕见或复杂标记类型。