[论文解读] Data Augmentation via Dependency Tree Morphing for Low-Resource Languages

Gözde Gül Şahin, Mark Steedman|arXiv (Cornell University)|Mar 22, 2019

Natural Language Processing Techniques参考文献 13被引用 5

一句话总结

本文提出基于依存树的数据增强技术——'裁剪'（crop）与'旋转'（rotate）——以提升低资源神经网络NLP模型的性能。通过简化或重新排列依存树中围绕根节点的句子片段，该方法增加了训练数据的多样性，显著提升了词性标注的准确率，尤其在乌拉尔语系、斯拉夫语系和突厥语系等形态丰富的语言中表现突出。

ABSTRACT

Neural NLP systems achieve high scores in the presence of sizable training dataset. Lack of such datasets leads to poor system performances in the case low-resource languages. We present two simple text augmentation techniques using dependency trees, inspired from image processing. We crop sentences by removing dependency links, and we rotate sentences by moving the tree fragments around the root. We apply these techniques to augment the training sets of low-resource languages in Universal Dependencies project. We implement a character-level sequence tagging model and evaluate the augmented datasets on part-of-speech tagging task. We show that crop and rotate provides improvements over the models trained with non-augmented data for majority of the languages, especially for languages with rich case marking systems.

研究动机与目标

• 解决因训练数据有限而导致的神经网络NLP模型在低资源语言中的性能不佳问题。
• 探索适用于句法与形态结构复杂的语言的标签保持型数据增强技术。
• 研究基于依存树的增强方法是否能在具有不同词序与格标记的语言家族之间实现泛化。
• 评估裁剪与旋转操作在低资源设置下的词性标注有效性。
• 识别不同语言在增强效果上的特定模式，以指导未来多语言NLP系统的设计。

提出的方法

• 通过移除与选定焦点（如主语、宾语）无关的依存关系，实施'裁剪'增强，形成更短但语义完整的句子。
• 通过重新排列根节点周围的灵活树片段（如主语、宾语），实施'旋转'增强，保持句法与语义结构不变。
• 以Universal Dependencies项目提供的依存树作为两种增强操作的结构基础。
• 采用统一的字符级序列标注模型，确保在不同语言间评估的一致性。
• 对低资源语言的训练集应用增强操作，随后在增强后的数据上微调模型，并在原始测试集上进行评估。
• 优先选择具有丰富格标记与灵活词序的语言（如土耳其语、芬兰语、俄语），以确保增强操作能保持语义完整性。

实验结果

研究问题

• RQ1 在低资源语言中，依存树裁剪与旋转在多大程度上提升了词性标注性能？
• RQ2 哪些语言家族从这些增强技术中获益最多，原因是什么？
• RQ3 增强效果是否与形态丰富度相关，特别是与格标记系统有关？
• RQ4 旋转操作如何改变训练数据的多样性，这种多样性是否与性能提升相关？
• RQ5 这些技术能否在多样化的语言家族间实现泛化，而不会引入语义漂移？

主要发现

• 裁剪与旋转增强在大多数低资源语言中显著提升了词性标注准确率，尤其在具有丰富格标记系统的语言中效果更明显。
• 波罗的海语系、斯拉夫语系、乌拉尔语系和突厥语系的语言表现出最一致的性能提升，其中旋转因产生更高的数据多样性而略胜一筹。
• 日耳曼语系语言（如哥特语、南非荷兰语、丹麦语）未观察到一致的性能提升，可能由于形态标记有限且词序僵化。
• 德拉维迪语系语言（如泰米尔语）表现出显著提升，因其具有八个不同的格标记，表明形态丰富度可增强增强技术的有效性。
• 泰卢固语尽管具备格系统，但增益有限，可能由于其语料库多样性低且表达性弱，且多由语法书例句构成。
• 该增强方法在大多数情况下保持了句子语义，因此适用于下游任务如语义角色标注与情感分析。