[论文解读] MasakhaNEWS: News Topic Classification for African languages

David Ifeoluwa Adelani, Marek Masiak+63 more|arXiv (Cornell University)|Apr 19, 2023

Topic Modeling被引用 4

一句话总结

本文介绍了 MasakhaNEWS，这是首个针对16种非洲语言的大型新闻主题分类数据集，使跨类型差异显著的语言的自然语言处理（NLP）模型基准测试成为可能。通过使用 Pattern-Exploiting Training（PET）的 few-shot 学习方法，作者仅用每类10个标注样本即实现了86.0的F1分数，超过全监督微调性能（92.6 F1）的90%，证明了现有NLP技术向低资源非洲语言的强大迁移能力。

ABSTRACT

African languages are severely under-represented in NLP research due to lack of datasets covering several NLP tasks. While there are individual language specific datasets that are being expanded to different tasks, only a handful of NLP tasks (e.g. named entity recognition and machine translation) have standardized benchmark datasets covering several geographical and typologically-diverse African languages. In this paper, we develop MasakhaNEWS -- a new benchmark dataset for news topic classification covering 16 languages widely spoken in Africa. We provide an evaluation of baseline models by training classical machine learning models and fine-tuning several language models. Furthermore, we explore several alternatives to full fine-tuning of language models that are better suited for zero-shot and few-shot learning such as cross-lingual parameter-efficient fine-tuning (like MAD-X), pattern exploiting training (PET), prompting language models (like ChatGPT), and prompt-free sentence transformer fine-tuning (SetFit and Cohere Embedding API). Our evaluation in zero-shot setting shows the potential of prompting ChatGPT for news topic classification in low-resource African languages, achieving an average performance of 70 F1 points without leveraging additional supervision like MAD-X. In few-shot setting, we show that with as little as 10 examples per label, we achieved more than 90\% (i.e. 86.0 F1 points) of the performance of full supervised training (92.6 F1 points) leveraging the PET approach.

研究动机与目标

• 解决低资源非洲语言新闻主题分类领域缺乏基准数据集的问题。
• 实现对多语言语言模型（LLMs）在多种非洲语言上的评估，包括非拉丁字母书写系统。
• 研究 few-shot 和 zero-shot 学习技术，以有效适应 LLMs 到低资源非洲语言。
• 提供基于经典机器学习和微调后的 LLM 的基线模型，以建立性能基准。
• 探索参数高效和提示驱动的微调方法，以降低非洲语言 NLP 的数据与计算需求。

提出的方法

• 利用公开获取的新闻文章和人工标注标签，构建了包含16种非洲语言的多语言新闻主题分类数据集 MasakhaNEWS。
• 评估了经典机器学习模型（如SVM、逻辑回归）和微调后的多语言 LLM（如mBERT、XLM-R）作为基线模型。
• 通过 MAD-X 实现跨语言参数高效微调，以极少量参数适应模型。
• 利用 Pattern-Exploiting Training（PET）方法，借助 verbalizer 模板和 few-shot 标注数据，在无需完整微调的情况下实现性能提升。
• 通过 API 使用 GPT-3.5 和 GPT-4 探索提示策略，实现 zero-shot 和 few-shot 推理。
• 评估无需提示的微调方法，使用 SetFit 和 co:here 嵌入 API，以比较无提示设置下的性能表现。

Figure 1: Comparison of article content type used for training news topic classification models . We report the average across all languages when either headline or headline+text is used

实验结果

研究问题

• RQ1 像 PET 这类 few-shot 学习方法能否在仅使用极少标注数据的情况下，实现对非洲语言新闻主题分类的高性能？
• RQ2 在非洲语言上，尤其是使用非拉丁字母书写系统的语言，提示驱动方法（如 GPT-3.5/4）与微调和参数高效方法相比表现如何？
• RQ3 在使用高资源语言数据对低资源非洲语言进行微调时，跨语言迁移能在多大程度上提升性能？
• RQ4 现有监督 NLP 技术能否在涵盖多种语言家族和书写系统的非洲语言上实现有效泛化？
• RQ5 在 few-shot 设置下，无需提示的微调方法（如 SetFit、co:here）在非洲语言文本分类中的性能上限是什么？

主要发现

• 仅使用每类10个标注样本，PET 方法实现了86.0的F1分数，超过全监督微调性能（92.6 F1）的90%以上。
• 在 few-shot 设置下，PET 超过了标准微调基线，在50个样本时达到89.9 F1，接近全监督基线性能。
• 使用 GPT-3.5 和 GPT-4 进行提示的性能在非洲语言上表现较差，尤其在非拉丁字母语言上，表明该任务在 zero-shot 设置下泛化能力有限。
• 从斯瓦希里语到卢干达语的跨语言迁移带来了+9.0 F1的性能提升，可能归因于两者同属班图语系。
• SetFit 和 co:here API 在无需提示的情况下取得了具有竞争力的结果，其中 SetFit 在无未标注数据情况下实现了与 PET 50-shot 性能相当的89.9 F1。
• 本研究证实，包括微调和参数高效适配在内的现有 NLP 技术，在仅使用极少标注数据的情况下，对非洲语言依然可行且有效。

Figure 2: Interface of our in-house Annotation tool . Annotators can correct the pre-defined category assigned and also edit their annotation