[论文解读] A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios

Michael A. Hedderich, Lukas Lange+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling被引用 4

一句话总结

本综述对低资源环境下自然语言处理的近期方法提供了全面且结构化的概述，重点聚焦于数据增强、远程监督、迁移学习和元学习。它阐明了方法论要求、假设条件，并根据可用数据为研究人员提供技术选择的实际指导，同时指出了低资源NLP中的开放性挑战与未来研究方向。

ABSTRACT

Deep neural networks and huge language models are becoming omnipresent in natural language applications. As they are known for requiring large amounts of training data, there is a growing body of work to improve the performance in low-resource settings. Motivated by the recent fundamental changes towards neural models and the popular pre-train and fine-tune paradigm, we survey promising approaches for low-resource natural language processing. After a discussion about the different dimensions of data availability, we give a structured overview of methods that enable learning when training data is sparse. This includes mechanisms to create additional labeled data like data augmentation and distant supervision as well as transfer learning settings that reduce the need for target supervision. A goal of our survey is to explain how these methods differ in their requirements as understanding them is essential for choosing a technique suited for a specific low-resource setting. Further key aspects of this work are to highlight open issues and to outline promising directions for future research.

研究动机与目标

• 为低资源环境下的自然语言处理近期方法提供结构化且全面的概述。
• 阐明不同低资源NLP技术在数据与资源方面的要求，以指导从业者选择合适的方法。
• 分析各类方法背后的假设，例如对无标签数据、启发式规则或跨语言对齐的依赖。
• 识别开放性问题，并勾勒低资源NLP研究中具有前景的未来方向。
• 通过梳理方法论的权衡，支持对代表性不足的语言和领域实现更广泛的NLP技术可及性。

提出的方法

• 对11种关键的低资源NLP方法进行分类与分析，包括数据增强、远程监督和迁移学习。
• 基于其数据需求（如标注数据、无标签数据、启发式规则或跨语言对齐）评估各类方法。
• 考察迁移学习机制，如多语言语言模型（例如mBERT、XLM-RoBERTa）以及领域自适应的语言表征。
• 回顾对抗性训练与元学习方法，这些方法通过利用辅助任务来提升低资源场景下的泛化能力。
• 采用结构化框架系统性地比较各类方法，将技术与所需资源及目标场景进行映射。
• 通过来自多种语言（如约鲁巴语、爱沙尼亚语、克丘亚语）和任务（命名实体识别、词性标注、情感分析）的实证示例，说明各类方法的适用性。

实验结果

研究问题

• RQ1 在低资源环境下提升NLP性能的关键方法论途径有哪些？
• RQ2 不同技术（如数据增强、远程监督）在数据与资源需求方面有何差异？
• RQ3 迁移学习与元学习方法在低资源NLP中的基本假设是什么？
• RQ4 多语言模型与领域自适应语言模型如何减少目标语言或领域对标注数据的需求？
• RQ5 低资源NLP研究中存在哪些开放性挑战，以及具有前景的未来研究方向是什么？

主要发现

• 数据增强与远程监督可通过启发式规则与弱监督生成额外的标注数据，从而减少对昂贵人工标注的依赖。
• 通过多语言语言模型（如mBERT、XLM-RoBERTa）进行迁移学习，可实现对低资源语言的有效零样本或少样本迁移。
• 领域自适应语言模型通过在领域内无标签文本上微调，可提升低资源领域中的性能。
• 元学习与对抗性训练通过从多个辅助任务中学习，使模型在低资源任务中具备更好的泛化能力。
• 尽管已有进展，但许多低资源语言（如约鲁巴语、豪萨语、克丘亚语）在高级NLP任务（如语义解析与指代消解）方面仍缺乏高质量数据集。
• 本综述识别出一个关键缺口：虽然部分低资源语言已支持基础NLP任务（如分词、命名实体识别），但因数据稀缺，高级应用仍发展不足。