[论文解读] Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models

Ling Liu, Mans Hulden|arXiv (Cornell University)|Apr 13, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种基于子串的数据幻化方法，以在‘wug测试’条件下（即对未见过的词干进行词形变化）提升Transformer模型在词形变化任务中的泛化能力——通过使用音节类子串（双字符、三字符、四字符组合）而非随机字符生成合成训练样本。该方法显著优于先前的字符级和词干级幻化技术，尤其在训练集与测试集无词干重叠的零样本泛化场景中表现更优。

ABSTRACT

Deep learning sequence models have been successfully applied to the task of morphological inflection. The results of the SIGMORPHON shared tasks in the past several years indicate that such models can perform well, but only if the training data cover a good amount of different lemmata, or if the lemmata that are inflected at test time have also been seen in training, as has indeed been largely the case in these tasks. Surprisingly, standard models such as the Transformer almost completely fail at generalizing inflection patterns when asked to inflect previously unseen lemmata -- i.e. under "wug test"-like circumstances. While established data augmentation techniques can be employed to alleviate this shortcoming by introducing a copying bias through hallucinating synthetic new word forms using the alphabet in the language at hand, we show that, to be more effective, the hallucination process needs to pay attention to substrings of syllable-like length rather than individual characters or stems. We report a significant performance improvement with our substring-based hallucination model over previous data hallucination methods when training and test data do not overlap in their lemmata.

研究动机与目标

• 探究为何当测试时遇到未见过的词干时，Transformer在零样本词形变化任务中会失败，尽管在训练与测试词干有重叠的标准设置下表现良好。
• 解决在‘wug测试’条件下Transformer缺乏复制偏差的问题，即模型无法为此前未见过的词干泛化词形变化模式。
• 通过引入基于合成数据幻化的数据增强方法，更好地捕捉词形结构，从而提升泛化能力，而非依赖随机字符生成。
• 评估使用音节类长度子串（如双字符、三字符）进行幻化是否优于字符级或词干级幻化，从而提升泛化性能。

提出的方法

• 通过将真实训练样本中的词干替换为从训练数据中提取的双字符、三字符和四字符组合构成的虚拟词干，生成合成的（词干，词类标签，词形）三元组。
• 使用SIGMORPHON 2016基线对齐方法进行词干对齐，以识别词干与目标词形之间的公共子串。
• 虚拟词干的长度被限制在训练数据中观察到的长度范围内，以确保结构上的合理性。
• 对于非连续词干，仅替换第一部分以保持方法简洁，避免过度复杂化。
• 将幻化生成的数据添加至原始训练集，构建新的增强数据集以训练Transformer模型。
• 将该方法与字符级幻化（从字母表中随机生成字符串）以及先前最先进的词干级幻化方法（Anastasopoulos & Neubig, 2019）进行对比。

实验结果

研究问题

• RQ1 为何在拥有大量训练数据的情况下，Transformer在对未见过的词干进行词形变化时仍会失败，无法泛化词形变化模式？
• RQ2 通过幻化进行数据增强在词形变化的零样本泛化中能带来多大程度的性能提升？
• RQ3 幻化单元的选择——即单个字符、词干或音节类子串——是否会影响模型在‘wug测试’场景下的性能表现？
• RQ4 基于子串的幻化方法是否能优于字符级或词干级幻化，在提升复制偏差和泛化能力方面表现更优？

主要发现

• 原始的Transformer模型在‘wug测试’场景下完全失效，且在无词干重叠的情况下准确率显著低于标准训练设置。
• 使用随机生成的字符字符串（如从字母表中选取）替换词干虽能提升性能，但因缺乏词形结构而仍表现欠佳。
• 采用音节类长度子串（双字符、三字符、四字符）进行幻化，相比字符级和先前的词干级方法，性能有显著提升。
• 所提出的基于子串的幻化方法（+hall-2k-substr）在大多数语言的‘wug测试’设置中达到最高准确率，优于Anastasopoulos & Neubig (2019) 和字符级幻化方法。
• 对于土耳其语和尼亚马拉语，性能提升不具统计显著性，但该方法仍表现具有竞争力。
• 即使经过数据增强，性能仍低于标准训练设置下的表现，表明完全泛化仍是挑战，但本方法在零样本泛化方面迈出了重要一步。