[论文解读] Mind Your Inflections! Improving NLP for Non-Standard Englishes with Base-Inflection Encoding

Samson Tan, Shafiq Joty+2 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques被引用 8

一句话总结

本文提出基础词形编码（BITE），一种将英语屈折词还原为词基形式并以特殊符号编码语法屈折的机制，从而提升NLP模型对非标准英语（如新加坡口语英语和非洲裔美国人英语）的鲁棒性。BITE提升了词汇效率，实现了对低资源方言的零样本泛化，并在不增加计算成本的前提下加速了训练收敛。

ABSTRACT

Inflectional variation is a common feature of World Englishes such as Colloquial Singapore English and African American Vernacular English. Although comprehension by human readers is usually unimpaired by non-standard inflections, current NLP systems are not yet robust. We propose Base-Inflection Encoding (BITE), a method to tokenize English text by reducing inflected words to their base forms before reinjecting the grammatical information as special symbols. Fine-tuning pretrained NLP models for downstream tasks using our encoding defends against inflectional adversaries while maintaining performance on clean data. Models using BITE generalize better to dialects with non-standard inflections without explicit training and translation models converge faster when trained with BITE. Finally, we show that our encoding improves the vocabulary efficiency of popular data-driven subword tokenizers. Since there has been no prior work on quantitatively evaluating vocabulary efficiency, we propose metrics to do so.

研究动机与目标

• 解决NLP模型在非标准英语（如新加坡口语英语和非洲裔美国人英语）中因屈折变化导致的脆弱性问题。
• 在无需对抗性训练或数据集扩展的前提下，提升预训练模型对非标准屈折形式的鲁棒性。
• 通过将词形结构整合到分词过程中，提升子词分词器的词汇效率。
• 在无需对这些方言数据进行显式微调的情况下，实现模型对低资源方言的零样本泛化。
• 提出新的评估指标，用于衡量分词方案中的词汇效率，包括符号复杂度。

提出的方法

• BITE利用词性标注器识别语法特征，将每个词分离为词基形式与屈折词缀。
• 将屈折词归一化为词基形式（如‘climbed’ → ‘climb’），并将屈折信息编码为特殊符号（如‘_VBD’表示过去时动词）。
• 使用标准子词分词器（BPE、WordPiece、Unigram）对生成的序列进行分词，这些分词器现在处理的是具有词形结构的输入。
• 该方法保留了语言结构，支持原始句子的重建，并在不同屈折变体间保持一致的表示。
• 通过直接在输入表示中嵌入词形鲁棒性，避免了对抗性训练的需求。
• 该方法与现有微调流程兼容，无需重新训练或数据增强。

实验结果

研究问题

• RQ1 BITE是否能在无需对抗性数据或重新训练的情况下，提升NLP模型对CSE和AAVE等方言中非标准屈折变化的鲁棒性？
• RQ2 BITE如何影响子词分词器的词汇效率？这种影响能否被定量衡量？
• RQ3 BITE在推理阶段使模型对未见方言实现零样本泛化的程度如何？
• RQ4 BITE是否能加速机器翻译等序列到序列任务的训练收敛速度？
• RQ5 在屈折扰动下，BITE能否减少干净句子与对抗句子之间的符号级差异？

主要发现

• 与标准分词相比，BITE在相似度（Ratcliff/Obershelp）上将模型对屈折对抗样本的鲁棒性提升了1%–2.5%，表明符号级扰动减少。
• 使用BITE微调的模型在未在该方言上进行显式训练的情况下，仍能更好地泛化到未见方言，证明了其零样本能力。
• BITE将子词分词的符号复杂度最高降低了20%，显著提升了BPE、WordPiece和Unigram分词器的词汇效率。
• 在使用Transformer-big模型的WMT’14 En-De翻译任务中，BITE加速了训练收敛，缩短了训练时间。
• 该方法在保持标准英语数据性能的同时有效防御非标准屈折形式，未在标准基准上造成性能下降。
• 所提出的符号复杂度指标能有效量化词汇效率，实现了对不同分词方案的客观比较。