[论文解读] Hierarchical Text Classification of Urdu News using Deep Neural Network

Taimoor Ahmed Javed, Waseem Shahzad+1 more|arXiv (Cornell University)|Jul 7, 2021

Text and Document Classification Technologies参考文献 28被引用 4

一句话总结

本文提出了一种分层多层LSTM（HMLSTM）模型，用于基于深度学习的乌尔都语新闻分层文本分类，采用一种新颖的乌尔都语专用分层LSTM层和Word2Vec嵌入。该模型在新创建的数据集上实现了最先进性能，优于传统模型和卷积神经网络（CNN），Micro-F1为0.9683，Macro-F1为0.8927。

ABSTRACT

Digital text is increasing day by day on the internet. It is very challenging to classify a large and heterogeneous collection of data, which require improved information processing methods to organize text. To classify large size of corpus, one common approach is to use hierarchical text classification, which aims to classify textual data in a hierarchical structure. Several approaches have been proposed to tackle classification of text but most of the research has been done on English language. This paper proposes a deep learning model for hierarchical text classification of news in Urdu language - consisting of 51,325 sentences from 8 online news websites belonging to the following genres: Sports; Technology; and Entertainment. The objectives of this paper are twofold: (1) to develop a large human-annotated dataset of news in Urdu language for hierarchical text classification; and (2) to classify Urdu news hierarchically using our proposed model based on LSTM mechanism named as Hierarchical Multi-layer LSTMs (HMLSTM). Our model consists of two modules: Text Representing Layer, for obtaining text representation in which we use Word2vec embedding to transform the words to vector and Urdu Hierarchical LSTM Layer (UHLSTML) an end-to-end fully connected deep LSTMs network to perform automatic feature learning, we train one LSTM layer for each level of the class hierarchy. We have performed extensive experiments on our self created dataset named as Urdu News Dataset for Hierarchical Text Classification (UNDHTC). The result shows that our proposed method is very effective for hierarchical text classification and it outperforms baseline methods significantly and also achieved good results as compare to deep neural model.

研究动机与目标

• 开发一个大规模、人工标注的乌尔都语分层文本分类数据集，命名为乌尔都语新闻分层文本分类数据集（UNDHTC），包含51,325个句子，分布在三个类别：体育、科技和娱乐。
• 解决乌尔都语在分层文本分类方面的研究不足问题，乌尔都语是一种资源匮乏的语言，具有复杂的词形变化和有限的语言资源。
• 设计并实现一种深度神经网络模型，能够从原始乌尔都语文本中学习分层表示，以提高分类准确性。
• 在所提出的数据集上，将模型性能与多种基线机器学习和深度学习模型进行对比评估。
• 展示使用LSTM进行端到端分层学习在捕捉乌尔都语文本中的长距离依赖关系和分层标签结构方面的有效性。

提出的方法

• 使用Word2Vec嵌入将乌尔都语词汇转换为连续向量空间中的密集向量表示。
• 设计一种新颖的乌尔都语分层LSTM层（UHLSTML），这是一种全连接的深度LSTM网络，用于处理分层类别结构中每一级的文本。
• 为类别层次结构的每一级分别训练一个LSTM层，以学习父类与子类之间的层次特征和依赖关系。
• 实现一个端到端训练流程，其中文本表示层输入到UHLSTML中，实现文本表示与标签表示的联合优化。
• 采用分层多标签分类框架，使预测在每一级进行，并沿层次结构传播。
• 使用标准评估指标，包括Micro-F1和Macro-F1，以评估所有类别和层级上的性能。

实验结果

研究问题

• RQ1 鉴于乌尔都语的语言形态复杂性和资源有限，深度神经网络模型能否有效学习乌尔都语文本的分层表示？
• RQ2 所提出的HMLSTM模型在分层分类乌尔都语文本方面，与传统机器学习模型（如SVM、随机森林）和深度学习基线模型（如CNN）相比表现如何？
• RQ3 与平面分类方法相比，该模型的分层结构在多大程度上提升了分类性能？
• RQ4 该模型在乌尔都语文本领域不同类别（体育、科技、娱乐）中的泛化能力如何？
• RQ5 该模型在处理模糊或语境误导性关键词（如娱乐新闻中的“actor”与体育新闻中的“actor”）方面表现如何？

主要发现

• HMLSTM模型取得了0.9683的Micro-F1分数，显著优于所有基线模型，包括SVM（0.8878）和逻辑回归（0.8980）。
• HMLSTM的Macro-F1为0.8927，表明其在所有独立类别中表现良好，尤其在细粒度子类别中表现突出。
• 该模型优于CNN（Micro-F1：0.9323）和所有传统机器学习模型，证明了分层LSTM在乌尔都语文本分类中的有效性。
• 定性分析表明，由于LSTM单元的长期记忆保持能力，HMLSTM能够正确分类长而复杂的句子。
• 该模型在处理语境模糊术语（如娱乐新闻中的“actor”）方面表现不佳，表明未来工作需改进上下文建模能力。
• 结果证实，通过多级LSTM实现的分层建模能够比平面分类方法更好地捕捉标签相关性和结构依赖性。