[论文解读] An Amharic News Text classification Dataset

Israel Abebe Azime, Nebil Mohammed|arXiv (Cornell University)|Mar 10, 2021

Text and Document Classification Technologies参考文献 5被引用 5

一句话总结

本文介绍了一个大规模、公开可用的阿姆哈拉语新闻文本分类数据集，包含超过50,000篇标注文章，涵盖六个类别，旨在解决阿姆哈拉语低资源自然语言处理任务中训练数据稀缺的问题。作者提供了基线模型和性能指标，以支持低资源语言处理的研究与模型开发，从而提升阿姆哈拉语及相关语言的文本分类性能。

ABSTRACT

In NLP, text classification is one of the primary problems we try to solve and its uses in language analyses are indisputable. The lack of labeled training data made it harder to do these tasks in low resource languages like Amharic. The task of collecting, labeling, annotating, and making valuable this kind of data will encourage junior researchers, schools, and machine learning practitioners to implement existing classification models in their language. In this short paper, we aim to introduce the Amharic text classification dataset that consists of more than 50k news articles that were categorized into 6 classes. This dataset is made available with easy baseline performances to encourage studies and better performance experiments.

研究动机与目标

• 解决自然语言处理中阿姆哈拉语等低资源语言标注训练数据稀缺的问题。
• 通过提供大规模、精心筛选的数据集，支持阿姆哈拉语文本分类模型的开发与评估。
• 鼓励初级研究人员、学生和从业者在阿姆哈拉语中实验并改进现有分类模型。
• 为未来阿姆哈拉语文本分类研究建立基线性能指标。
• 通过公开提供高质量、多类别的数据集，促进低资源自然语言处理研究。

提出的方法

• 该数据集从多个阿姆哈拉语新闻网站收集的新闻文章构建而成。
• 文章经过人工标注，划分为六个预定义类别，以确保高质量的标注结果。
• 该数据集包含超过50,000篇独特的新闻文章及其对应标签。
• 使用标准自然语言处理技术在该数据集上训练并评估了基线分类模型。
• 报告了准确率和F1分数等性能指标，以建立基准结果。
• 该数据集和基线模型已公开，以支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 标准文本分类模型在大规模、低资源的阿姆哈拉语新闻数据集上的表现如何？
• RQ2 标注数据的质量与规模如何影响阿姆哈拉语自然语言处理任务中的模型性能？
• RQ3 公开可用的高质量数据集能否加速低资源语言（如阿姆哈拉语）的研究与模型开发？
• RQ4 使用标准深度学习和传统机器学习方法在阿姆哈拉语中进行文本分类的基线性能水平是什么？
• RQ5 该数据集的可用性如何促进更多人参与低资源语言的自然语言处理研究？

主要发现

• 该数据集包含超过50,000篇按六个不同类别划分的标注阿姆哈拉语新闻文章。
• 基线模型取得了可测量的性能表现，报告的准确率和F1分数为未来研究提供了参考基准。
• 该数据集的可用性使得阿姆哈拉语文本分类中新模型的直接比较与基准测试成为可能。
• 该数据集支持阿姆哈拉语中文本分类模型的训练与评估，涵盖传统方法与深度学习方法。
• 作者报告称，该数据集可公开获取，并包含基线结果，以加速低资源自然语言处理研究。
• 该数据集有望激发阿姆哈拉语及其他低资源语言的进一步研究与模型开发。