[论文解读] MoNoise: Modeling Noise Using a Modular Normalization System

Rob van der Goot, Gertjan van Noord|arXiv (Cornell University)|Oct 10, 2017

Natural Language Processing Techniques参考文献 22被引用 24

一句话总结

MoNoise 提出了一种模块化的归一化系统，可提升将非标准社交媒体文本转换为标准语言时的泛化能力和效率。通过结合拼写纠正、词嵌入以及从训练数据中提取的静态查找列表进行候选生成，并利用带有 N-gram 特征的随机森林分类器进行排序，MoNoise 在英语和荷兰语基准测试中均达到最先进性能，在包括 LexNorm1.2、LexNorm2015 和 GhentNorm 在内的多个数据集上优于先前方法。

ABSTRACT

We propose MoNoise: a normalization model focused on generalizability and efficiency, it aims at being easily reusable and adaptable. Normalization is the task of translating texts from a non- canonical domain to a more canonical domain, in our case: from social media data to standard language. Our proposed model is based on a modular candidate generation in which each module is responsible for a different type of normalization action. The most important generation modules are a spelling correction system and a word embeddings module. Depending on the definition of the normalization task, a static lookup list can be crucial for performance. We train a random forest classifier to rank the candidates, which generalizes well to all different types of normaliza- tion actions. Most features for the ranking originate from the generation modules; besides these features, N-gram features prove to be an important source of information. We show that MoNoise beats the state-of-the-art on different normalization benchmarks for English and Dutch, which all define the task of normalization slightly different.

研究动机与目标

• 开发一种可泛化且高效的归一化模型，用于将非标准社交媒体文本转换为标准语言。
• 通过预处理噪声用户生成文本而非重新训练模型，解决领域适应的挑战。
• 提升在多种归一化任务中的性能，包括拼写纠正、缩写扩展和词形变化。
• 设计一种可重用且可适应的系统，通过模块化组件支持多种归一化操作。
• 评估该模型作为下游 NLP 任务（如依存句法分析和词性标注）预处理步骤的有效性。

提出的方法

• 该系统采用模块化架构，每个模块负责特定的归一化操作，如拼写纠正或基于词嵌入的候选生成。
• 候选生成由三个核心模块驱动：拼写纠正系统、词嵌入模块以及从训练数据中提取的静态查找列表。
• 随机森林分类器利用来自生成模块的特征（包括词语相似度和编辑距离）以及 N-gram 特征作为关键预测因子，对候选结果进行排序。
• 该模型支持一对一（1:1）和一对多（1:N）的归一化操作，例如将 'tmr' 扩展为 'tomorrow'，或将 'Ima' 扩展为 'I’m going to'。
• 系统在多个基准数据集上进行端到端训练，并可通过权重参数调节以控制归一化的激进程度。
• 外部评估将 MoNoise 作为 Berkeley 句法分析器和双向 LSTM 词性标注器 Bilty 的预处理步骤进行测试。

实验结果

研究问题

• RQ1 模块化归一化系统是否能在多样化的社交媒体归一化任务和基准测试中实现泛化？
• RQ2 当结合来自多个生成模块的特征时，随机森林分类器在排序多样化归一化候选结果方面的有效性如何？
• RQ3 与仅使用嵌入特征或编辑距离特征相比，N-gram 特征在多大程度上提升了排序性能？
• RQ4 MoNoise 是否在英语和荷兰语归一化基准测试中均优于现有的最先进模型？
• RQ5 MoNoise 是否可作为有效预处理步骤，以提升下游 NLP 任务（如句法分析和词性标注）的性能？

主要发现

• 在 LexNorm2015 基准测试中，MoNoise 达到了 86.39 的新最先进 F1 分数，显著优于先前方法。
• 在 LexNorm1.2 数据集中，MoNoise 的 F1 分数达到 75.97，表明其在不同标注标准下具有强大的泛化能力。
• 在 GhentNorm 数据集中，模型的精确率为 80.95，召回率为 28.81，性能部分受限于较小的训练数据量和标注差异。
• 外部评估显示，当使用 MoNoise 的最佳归一化序列时，Berkeley 句法分析器的 F1 分数提升了 0.68%；当使用前 n 个候选结果时，提升达 1.26%。
• 当使用 MoNoise 的词嵌入初始化时，双向 LSTM 词性标注器 Bilty 在两个测试集上分别实现了 1.10 和 0.39 个百分点的准确率提升。
• N-gram 特征被识别为排序分类器中最重要的预测因子，优于单独使用嵌入特征或编辑距离特征。