[论文解读] Investigating an approach for low resource language dataset creation, curation and classification: Setswana and Sepedi

Vukosi Marivate, Tshephisho Joseph Sefara+5 more|arXiv (Cornell University)|Feb 18, 2020

Natural Language Processing Techniques参考文献 16被引用 10

一句话总结

本文提出了一套框架，用于使用茨瓦纳语和塞佩迪语新闻标题创建、整理和分类低资源语言数据集。该框架采用基于 word2vec 的数据增强方法，并结合 doc2vec 质量检查以提升分类器性能，在训练数据有限的情况下仍实现了对塞佩迪语的改进结果，并发布了两种语言的预训练词嵌入。

ABSTRACT

The recent advances in Natural Language Processing have been a boon for well-represented languages in terms of available curated data and research resources. One of the challenges for low-resourced languages is clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creation of two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and creation of a news topic classification task. We document our work and also present baselines for classification. We investigate an approach on data augmentation, better suited to low resource languages, to improve the performance of the classifiers

研究动机与目标

• 解决像茨瓦纳语和塞佩迪语这样的低资源非洲语言缺乏经过整理和标注的数据集的问题。
• 为资源匮乏语言的新闻标题开发一种系统化的方法，用于数据集创建、整理和主题分类。
• 通过一种专为低资源 NLP 设计的新型两步数据增强策略，提升小规模训练集上的分类器性能。
• 发布茨瓦纳语和塞佩迪语的预训练词嵌入，以支持下游 NLP 任务。
• 为研究人员提供一个可复现的流程，用于为其他低资源语言构建类似的数据集和模型。

提出的方法

• 从 SABC 新闻网站和社交媒体收集了茨瓦纳语和塞佩迪语的新闻标题。
• 使用预定义的新闻类别（如政治、综合、法律）对收集到的标题进行标注。
• 在收集的数据上训练 word2vec 模型，以生成两种语言的预训练词嵌入。
• 应用两阶段数据增强技术：首先，使用 word2vec 相似性将词语替换为语义相近的词；其次，使用 doc2vec 过滤增强后的样本，以保持语义连贯性。
• 通过原始句子嵌入与增强后句子嵌入之间的余弦相似度阈值，确保增强样本的质量。
• 在 Bag-of-Words、TF-IDF 和 word2vec 特征表示上，对多种分类器（如 XGBoost、SVM、逻辑回归）进行训练与评估，对比是否使用增强数据。

实验结果

研究问题

• RQ1 如何设计一个可扩展且可复现的框架，用于在非洲语言中创建和整理低资源语言数据集？
• RQ2 基于 word2vec 的数据增强在茨瓦纳语和塞佩迪语等低资源环境下的新闻标题分类性能上，能提升多少？
• RQ3 基于 doc2vec 的质量检查能否有效过滤低相似度的增强样本，从而提升模型泛化能力？
• RQ4 在小规模数据集上，不同特征表示方法（Bag-of-Words、TF-IDF、word2vec）在新闻主题分类任务中的性能表现如何比较？
• RQ5 数据偏差和数据量有限对分类器性能有何影响？这些影响如何被缓解？

主要发现

• 所提出的基于 word2vec 的数据增强显著提升了塞佩迪语数据集上的分类器性能，其中 XGBoost 在增强数据上表现最佳。
• 在增强流程中引入 doc2vec 质量检查后，塞佩迪语的性能进一步提升，表明增强样本的语义一致性得到改善。
• 使用 word2vec 特征向量（如平均池化）的性能略低于 TF-IDF 和 BoW 基线，提示可能需要更先进的架构以实现最优特征学习。
• 混淆矩阵显示，模型在综合新闻、政治和法律新闻类别上表现最佳，但在其他类别上表现较差，表明存在类别不平衡问题，需采用重采样策略。
• 茨瓦纳语数据集中的数据偏差导致模型过度拟合于综合新闻和其他类别，凸显了数据平衡技术的必要性。
• 本研究成功发布了茨瓦纳语和塞佩迪语的预训练词嵌入，为未来这些语言的 NLP 研究提供了宝贵资源。