[论文解读] Adapting Sequence to Sequence models for Text Normalization in Social Media

Ismini Lourentzou, Kabir Manghnani+1 more|arXiv (Cornell University)|Apr 12, 2019

Natural Language Processing Techniques被引用 18

一句话总结

本文提出了一种用于社交媒体文本归一化的混合词-字符序列到序列模型，该模型结合了词级别编码器-解码器与在对抗性样本上训练的字符级别模型，以提高对嘈杂、非正式文本的鲁棒性。该模型优于现有的神经架构，在无需外部知识的情况下实现了最先进性能，有效处理了用户生成内容中的拼写错误、缩写和音似替换等问题。

ABSTRACT

Social media offer an abundant source of valuable raw data, however informal writing can quickly become a bottleneck for many natural language processing (NLP) tasks. Off-the-shelf tools are usually trained on formal text and cannot explicitly handle noise found in short online posts. Moreover, the variety of frequently occurring linguistic variations presents several challenges, even for humans who might not be able to comprehend the meaning of such posts, especially when they contain slang and abbreviations. Text Normalization aims to transform online user-generated text to a canonical form. Current text normalization systems rely on string or phonetic similarity and classification models that work on a local fashion. We argue that processing contextual information is crucial for this task and introduce a social media text normalization hybrid word-character attention-based encoder-decoder model that can serve as a pre-processing step for NLP applications to adapt to noisy text in social media. Our character-based component is trained on synthetic adversarial examples that are designed to capture errors commonly found in online user-generated text. Experiments show that our model surpasses neural architectures designed for text normalization and achieves comparable performance with state-of-the-art related work.

研究动机与目标

• 解决由于词汇外（OOV）词汇和非标准形式导致标准NLP工具失效的非正式、嘈杂社交媒体文本归一化挑战。
• 克服现有方法依赖字符串相似性或局部分类的局限性，通过神经序列到序列模型引入上下文信息。
• 开发一种鲁棒的、端到端可训练的模型，以处理俚语、缩写、音似替换和标点错误等多样化的语言变体。
• 在不依赖外部词典或预存词表的情况下提升归一化性能，尤其针对罕见或新兴的OOV形式。

提出的方法

• 采用混合编码器-解码器架构，其中词级别组件处理词表内（IV）标记，字符级别组件处理词表外（OOV）或嘈杂形式。
• 字符级别模型在合成对抗性样本上进行训练，这些样本旨在模拟社交媒体文本中的常见错误，如拼写错误、数字替换和元音延长。
• 在词级别和字符级别均应用注意力机制，以捕捉长距离依赖关系和上下文敏感的归一化决策。
• 采用联合训练策略，使词级别解码器关注字符级别编码器对OOV标记的输出。
• 通过应用常见噪声模式（例如，'2morrow' → 'tomorrow'）对标准词汇进行处理，生成对抗性训练数据，以模拟现实世界中的用户错误。
• 使用BLEU和精确匹配等标准指标进行评估，并辅以人工评估，以衡量超出严格标记对齐的正确性。

实验结果

研究问题

• RQ1 混合词-字符序列到序列模型能否有效处理社交媒体中多样化且复杂的非正式文本归一化形式？
• RQ2 通过注意力机制引入上下文信息，相较于局部或基于字符串的方法，能否显著提升归一化准确率？
• RQ3 通过对抗性生成的训练数据在多大程度上能增强模型对未见OOV和嘈杂词形的鲁棒性？
• RQ4 所提出的模型是否能在不依赖外部词典或语言资源的情况下，实现与最先进系统相当的性能？
• RQ5 在意义保留存在歧义的情况下（如强调或大写形式），归一化决策如何变化？

主要发现

• 所提出的混合模型（HS2S）在性能上优于专为文本归一化设计的标准神经序列到序列模型。
• 即使未使用外部知识源（如俚语词典或预训练嵌入），该模型在性能上仍可与文献中的最先进系统相媲美。
• 字符级别组件显著提升了对OOV和嘈杂形式的处理能力，尤其在缩写、音似替换和拼写错误方面表现突出。
• 尽管部分目标标注存在不完整或错误，该模型仍正确归一化了多个在标准答案中未被归一化的标记，表明其具有强大的泛化能力。
• 该模型对多种噪声类型表现出鲁棒性，包括标点错误、元音延长和缩写扩展，且对外部语言资源的依赖极小。
• 人工评估确认，该模型在歧义情况下仍能生成语义正确且上下文恰当的归一化结果。