[论文解读] Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization

Thales Felipe Costa Bertaglia, Maria das Graças Volpe Nunes|arXiv (Cornell University)|Apr 10, 2017

Natural Language Processing Techniques被引用 35

一句话总结

本文提出了一种无监督、语言和领域无关的方法，利用词嵌入对巴西葡萄牙语的用户生成内容（UGC）进行规范化。通过在嘈杂文本上训练的 Skip-gram 模型，并结合词汇相似性与扩展步骤，该方法在纠正拼写错误和网络俚语方面达到了最先进性能，在完整流水线集成后，拼写错误的召回率达到 92.1%，俚语的召回率达到 77.4%。

ABSTRACT

Text normalization techniques based on rules, lexicons or supervised training requiring large corpora are not scalable nor domain interchangeable, and this makes them unsuitable for normalizing user-generated content (UGC). Current tools available for Brazilian Portuguese make use of such techniques. In this work we propose a technique based on distributed representation of words (or word embeddings). It generates continuous numeric vectors of high-dimensionality to represent words. The vectors explicitly encode many linguistic regularities and patterns, as well as syntactic and semantic word relationships. Words that share semantic similarity are represented by similar vectors. Based on these features, we present a totally unsupervised, expandable and language and domain independent method for learning normalization lexicons from word embeddings. Our approach obtains high correction rate of orthographic errors and internet slang in product reviews, outperforming the current available tools for Brazilian Portuguese.

研究动机与目标

• 解决基于规则和词典依赖的文本规范化技术在用户生成内容（UGC）中可扩展性和领域适应性不足的问题。
• 开发一种无监督、可扩展且语言无关的方法，用于学习规范化词典，而无需依赖大规模标注语料或领域特定规则。
• 探索分布式词表示在捕捉语义和句法相似性方面的有效性，以识别和纠正非标准词汇。
• 在巴西葡萄牙语 UGC 中，提升拼写错误和网络俚语的纠正率，超越现有工具。

提出的方法

• 在大规模、预处理过的来自 Twitter 和产品评论的 UGC 数据上训练 Skip-gram 和 CBOW 词嵌入模型，上下文窗口为 5，最小词频为 10。
• 利用词嵌入之间的余弦相似度，识别非标准词（NSWs）的语义相似规范形式，构成规范化词典的核心。
• 应用扩展步骤，基于嵌入相似度添加相关词汇，以提升对罕见或未见变体的覆盖度。
• 整合语言模型（LM）以通过上下文概率优化预测，提高纠正准确率。
• 结合多种嵌入模型（噪声型、纯净型和集成型），以利用不同噪声类型下的优势——例如，噪声型模型适用于俚语，纯净型模型适用于拼写错误。
• 采用基于最大值的融合策略，整合不同模型的输出，提升鲁棒性和召回率。

实验结果

研究问题

• RQ1 在无监督、嘈杂的用户生成文本上训练的词嵌入，能否有效捕捉规范化所必需的语义和句法关系？
• RQ2 不同词嵌入架构（Skip-gram 与 CBOW）及超参数（维度、训练数据）对规范化准确率的影响如何？
• RQ3 基于嵌入相似度的扩展步骤在多大程度上提升了非标准词的覆盖度和纠正率？
• RQ4 语言模型的集成能否在仅依赖嵌入相似度的基础上进一步提升规范化性能？
• RQ5 所提出方法与现有工具（如 UGCNormal）相比，在巴西葡萄牙语 UGC 中纠正拼写错误和网络俚语方面的表现如何？

主要发现

• 在噪声数据上训练的 500 维 Skip-gram 模型（噪声型）在结合扩展和语言建模后，对网络俚语的纠正召回率达到最高（77.4%）。
• 结合噪声型和纯净型嵌入的集成模型在拼写错误上的召回率为 83.5%，在俚语上的召回率为 71.0%，优于 UGCNormal（分别为 83.5% 和 61.3%）。
• 添加扩展步骤后，拼写错误的召回率从 83.5% 提升至 90.9%，俚语的召回率从 71.0% 提升至 77.4%，显示出显著改进。
• 最终流水线在结合扩展和语言建模后，拼写错误的召回率达到 92.1%，俚语的召回率达到 77.4%，大幅超越 UGCNormal，尤其在罕见词错误（RWEs）上表现更优。
• 纯净型模型（去除非字母数字字符）在拼写错误上的表现优于噪声型模型（82.3% vs. 78.6%），而噪声型模型在俚语上的表现更优（64.5% vs. 54.8%），验证了模型专业化的需求。
• 通过扩展和语言建模，该方法在 RWEs 上达到 73.0% 的召回率，而 UGCNormal 仅为 33.9%，表明其在罕见和复杂形式上的强大泛化能力。