[论文解读] A Text Classification Survey: From Shallow to Deep Learning

Qian Li, Hao Peng+6 more|arXiv (Cornell University)|Aug 2, 2020

Text and Document Classification Technologies被引用 11

一句话总结

本综述全面且最新地回顾了1961年至2020年间的文本分类方法，涵盖浅层学习与深度学习方法。它基于文本类型和模型架构提出了一种分类法，分析了基准数据集与评估指标，并对各类技术进行了详细比较，揭示了其优势、局限性以及未来研究方向。

ABSTRACT

Text classification is the most fundamental and essential task in natural language processing. The last decade has seen a surge of research in this area due to the unprecedented success of deep learning. Numerous methods, datasets, and evaluation metrics have been proposed in the literature, raising the need for a comprehensive and updated survey. This paper fills the gap by reviewing the state of the art approaches from 1961 to 2020, focusing on models from shallow to deep learning. We create a taxonomy for text classification according to the text involved and the models used for feature extraction and classification. We then discuss each of these categories in detail, dealing with both the technical developments and benchmark datasets that support tests of predictions. A comprehensive comparison between different techniques, as well as identifying the pros and cons of various evaluation metrics are also provided in this survey. Finally, we conclude by summarizing key implications, future research directions, and the challenges facing the research area.

研究动机与目标

• 提供1961年至2020年期间文本分类方法的全面且最新的综述，以应对该领域研究复杂性和体量不断增长的现状。
• 基于文本类型及用于特征提取和分类的模型，建立统一的文本分类分类法。
• 分析浅层学习与深度学习方法在技术发展、基准数据集和评估指标方面的进展。
• 系统性地比较不同技术，突出其在性能和适用性方面的优缺点。
• 识别文本分类中的关键挑战与未来研究方向，为研究人员和从业者提供参考。

提出的方法

• 作者对跨越六十余年（1961年至2020年）的文献进行了系统性综述，聚焦于文本分类方法。
• 他们提出了一种分类法，根据输入文本类型及用于特征提取和分类的模型对文本分类方法进行分类。
• 该综述对多种浅层学习与深度学习模型进行了评估与比较，包括传统机器学习方法和基于神经网络的架构。
• 对基准数据集与评估指标进行了详细分析，以评估模型性能与可复现性。
• 本文提供了对各类技术的对比分析，讨论了其技术优势、局限性以及在不同文本分类任务中的适用性。
• 该方法包括总结关键启示，并基于识别出的差距与挑战，提出未来研究方向。

实验结果

研究问题

• RQ1 从1961年到2020年，文本分类领域有哪些主要技术进步，特别是在从浅层学习向深度学习模型的转变方面？
• RQ2 不同类型文本（如短文本、长文本、正式文本、非正式文本）如何影响模型的选择与性能表现？
• RQ3 在文本分类中，最广泛使用的基准数据集与评估指标是什么？它们如何影响模型比较与可复现性？
• RQ4 在文本分类任务中，浅层学习与深度学习方法的相对优势与劣势是什么？
• RQ5 文本分类中存在哪些关键挑战与开放性问题，需要进一步研究？

主要发现

• 该综述识别出从传统机器学习模型到深度神经网络的清晰演进过程，深度学习在复杂且大规模的文本分类任务中表现出更优性能。
• 所提出的分类法能够基于文本特征与模型架构，系统性地组织与比较多样化的文本分类方法。
• 20 Newsgroups、AG News和IMDB等基准数据集在研究中被持续使用，为性能评估提供了共同基准。
• 准确率、F1值以及宏平均F1等评估指标被广泛使用，但综述指出研究中在指标选择与报告方面存在不一致现象。
• 深度学习模型，尤其是基于Transformer的架构，在大多数基准测试中优于传统模型，但在可解释性与数据效率方面仍面临挑战。
• 本文识别出持续存在的挑战，包括模型泛化能力、对对抗性样本的鲁棒性，以及在低资源环境下更优评估协议的需求。