[论文解读] How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?

Georg Heigold, Günter Neumann+1 more|arXiv (Cornell University)|Apr 14, 2017

Natural Language Processing Techniques被引用 26

一句话总结

本文研究了在各种形式的输入噪声（包括拼写错误、字符互换、翻转和词语乱序）下，基于字符的词嵌入在词形标注和神经机器翻译任务中的鲁棒性。结果表明，在合成噪声数据上进行训练可显著提升模型在噪声输入上的性能，其中字符级模型优于基于BPE的模型，且噪声自适应训练能够实现对不同噪声类型的泛化能力。

ABSTRACT

This paper investigates the robustness of NLP against perturbed word forms. While neural approaches can achieve (almost) human-like accuracy for certain tasks and conditions, they often are sensitive to small changes in the input such as non-canonical input (e.g., typos). Yet both stability and robustness are desired properties in applications involving user-generated content, and the more as humans easily cope with such noisy or adversary conditions. In this paper, we study the impact of noisy input. We consider different noise distributions (one type of noise, combination of noise types) and mismatched noise distributions for training and testing. Moreover, we empirically evaluate the robustness of different models (convolutional neural networks, recurrent neural networks, non-neural models), different basic units (characters, byte pair encoding units), and different NLP tasks (morphological tagging, machine translation).

研究动机与目标

• 评估NLP模型（尤其是基于字符的嵌入）对非标准和噪声词形（如拼写错误、乱序词和字符级扰动）的鲁棒性。
• 研究在合成噪声数据上进行训练是否能提升模型在真实世界噪声输入上的泛化能力和性能，特别是在词形标注和机器翻译任务中。
• 比较不同建模方法（CNN、RNN、CRF）、基本单元（字符与BPE）以及噪声类型在处理输入扰动时的有效性。
• 分析训练与测试数据之间噪声分布不匹配的影响，并评估噪声自适应模型的泛化能力。
• 确定在噪声条件下，基于字符的表示是否本质上比子词（BPE）或词级表示更具鲁棒性。

提出的方法

• 使用受控扰动从干净的单语语料库中生成合成噪声：在不同噪声密度下进行字符互换、翻转和词语乱序。
• 在干净数据和经过合成噪声增强的数据上训练模型，以评估噪声自适应训练的影响。
• 评估三种主要建模方法：卷积神经网络（CNN）、循环神经网络（RNN）以及用于词形标注的条件随机场（CRF）基线。
• 比较两种基本单元：原始字符和字节对编码（BPE）子词，通过调整BPE大小以探索粒度权衡。
• 在两个任务上进行实验：词形标注（英语和德语）和神经机器翻译（英德语），使用标准基准。
• 系统性地测试噪声分布不匹配的情况，包括在一种噪声类型（如互换）上训练而在另一种（如乱序）上测试，以评估泛化能力。

实验结果

研究问题

• RQ1 输入噪声（如拼写错误、字符互换、翻转和词语乱序）如何影响在干净数据上训练的最先进NLP模型的性能？
• RQ2 在合成噪声数据上进行训练在多大程度上能提升模型对未见噪声输入的鲁棒性，特别是在训练与测试噪声类型不同时？
• RQ3 在各种噪声条件下，基于字符的表示与基于BPE的表示在鲁棒性方面有何差异？
• RQ4 神经网络架构的选择（CNN与RNN）是否显著影响对噪声输入的鲁棒性，还是影响主要由表示层级决定？
• RQ5 噪声自适应训练是否能使模型在不降低在干净数据上性能的前提下，泛化到不同噪声类型和分布？

主要发现

• 在合成噪声数据上进行训练可显著提升模型在噪声输入上的性能，使其在干净输入上的表现可与在干净数据上训练的模型相媲美。
• 在匹配噪声类型下训练（如在相同噪声类型上进行训练和测试）可获得最佳结果，但跨不同噪声类型的泛化依然有效。
• 在噪声条件下，基于字符的表示始终优于基于BPE的模型，尤其是在噪声涉及字符级扰动时。
• 噪声分布不匹配（如在互换上训练但在乱序上测试）的影响大于噪声密度不匹配，表明扰动类型比频率更为关键。
• RNN和CNN架构表现出相似的鲁棒性趋势，表明神经网络架构的选择对鲁棒性的影响小于输入表示的选择。
• 在词形标注任务中，神经网络模型（RNN/CNN）在干净和噪声条件下均优于基于CRF的基线，且在噪声自适应训练下表现最佳。