[论文解读] Machine and Deep Learning Methods with Manual and Automatic Labelling for News Classification in Bangla Language

Istiak Ahmad, Fahad Alqurashi+1 more|arXiv (Cornell University)|Oct 19, 2022

Text and Document Classification Technologies被引用 5

一句话总结

本文提出了一种结合人工与自动标注的机器学习和深度学习方法，用于孟加拉语新闻分类，利用新创建的大规模数据集（Potrika），该数据集包含664,880篇新闻文章。在人工标注下，GRU与FastText模型达到91.83%的准确率；在自动多标签分类中，KNN与Doc2Vec模型达到75%的准确率，证明了对孟加拉语等低资源语言实现可扩展自然语言处理的可行性。

ABSTRACT

Research in Natural Language Processing (NLP) has increasingly become important due to applications such as text classification, text mining, sentiment analysis, POS tagging, named entity recognition, textual entailment, and many others. This paper introduces several machine and deep learning methods with manual and automatic labelling for news classification in the Bangla language. We implemented several machine (ML) and deep learning (DL) algorithms. The ML algorithms are Logistic Regression (LR), Stochastic Gradient Descent (SGD), Support Vector Machine (SVM), Random Forest (RF), and K-Nearest Neighbour (KNN), used with Bag of Words (BoW), Term Frequency-Inverse Document Frequency (TF-IDF), and Doc2Vec embedding models. The DL algorithms are Long Short-Term Memory (LSTM), Bidirectional LSTM (BiLSTM), Gated Recurrent Unit (GRU), and Convolutional Neural Network (CNN), used with Word2vec, Glove, and FastText word embedding models. We develop automatic labelling methods using Latent Dirichlet Allocation (LDA) and investigate the performance of single-label and multi-label article classification methods. To investigate performance, we developed from scratch Potrika, the largest and the most extensive dataset for news classification in the Bangla language, comprising 185.51 million words and 12.57 million sentences contained in 664,880 news articles in eight distinct categories, curated from six popular online news portals in Bangladesh for the period 2014-2020. GRU and Fasttext with 91.83% achieve the highest accuracy for manually-labelled data. For the automatic labelling case, KNN and Doc2Vec at 57.72% and 75% achieve the highest accuracy for single-label and multi-label data, respectively. The methods developed in this paper are expected to advance research in Bangla and other languages.

研究动机与目标

• 构建一个全面且大规模的孟加拉语新闻分类数据集，以支持自然语言处理研究。
• 评估多种机器学习与深度学习模型在孟加拉语文本分类中的性能，结合多种词嵌入技术。
• 研究基于主题建模（LDA）的自动标注技术，以减少对人工标注的依赖。
• 使用最先进的评估指标，比较单标签与多标签分类的性能。
• 通过结合人工与自动标注策略，为孟加拉语自然语言处理建立基准。

提出的方法

• 从六个主要孟加拉语新闻门户网站（2014–2020年）构建了Potrika大规模孟加拉语新闻数据集（664,880篇文章，185.51M个词，12.57M个句子），划分为八个类别。
• 应用传统机器学习模型（逻辑回归、SGD、SVM、随机森林、KNN）结合BoW、TF-IDF与Doc2Vec嵌入。
• 部署深度学习模型（LSTM、BiLSTM、GRU、CNN）结合Word2Vec、GloVe与FastText词嵌入，以实现上下文表示。
• 通过潜在狄利克雷分布（LDA）实现自动标注，从无标签数据中生成基于主题的标签。
• 使用精确率、召回率、F1分数与汉明损失评估单标签与多标签分类性能，并对多标签兼容性进行标签转换。
• 在多标签预测中使用0.3的阈值，并与原始单标签真实标签进行结果对比。

实验结果

研究问题

• RQ1 在使用人工标注数据时，哪些机器学习与深度学习模型在孟加拉语新闻分类中达到最高准确率？
• RQ2 基于主题建模（LDA）的自动标注技术在孟加拉语新闻分类中的有效性如何，相较于人工标注？
• RQ3 不同词嵌入技术（BoW、TF-IDF、Doc2Vec、Word2Vec、GloVe、FastText）对孟加拉语文本分类性能有何影响？
• RQ4 在使用相同模型与嵌入技术时，多标签分类性能与单标签分类性能相比如何？
• RQ5 词干提取的使用是否显著影响孟加拉语文本分类模型的性能？

主要发现

• GRU结合FastText嵌入在人工标注下实现了91.83%的最高准确率，优于其他深度学习与机器学习模型。
• 在自动多标签分类中，KNN结合Doc2Vec实现了75%的准确率，为所有评估方法中的最高值。
• KNN在多标签分类中表现最佳，精确率为90%，召回率为88%，F1分数为87%，表明各项指标间具有良好的平衡。
• 汉明损失较低（多标签为0.03，原始标签为0.09），表明多标签设置下标签预测质量高。
• 深度学习模型始终优于机器学习模型，尤其在使用上下文嵌入（如FastText）时表现更优。
• 词干提取的使用对模型性能无显著影响，表明在此情境下形态归一化对孟加拉语并非关键因素。