[论文解读] DCDistance: A Supervised Text Document Feature extraction based on class labels

Charles Henrique Porto Ferreira, Débora Maria Rossi de Medeiros+1 more|arXiv (Cornell University)|Jan 14, 2018

Text and Document Classification Technologies参考文献 11被引用 10

一句话总结

DCDistance 是一种有监督的文本特征提取方法，通过将每篇文档表示为与类别代表性向量之间距离的 k 维向量来降低维度，实现了超过 99% 的特征压缩率，同时在基准数据集上相比传统方法和最先进方法提升了分类准确率。

ABSTRACT

Text Mining is a field that aims at extracting information from textual data. One of the challenges of such field of study comes from the pre-processing stage in which a vector (and structured) representation should be extracted from unstructured data. The common extraction creates large and sparse vectors representing the importance of each term to a document. As such, this usually leads to the curse-of-dimensionality that plagues most machine learning algorithms. To cope with this issue, in this paper we propose a new supervised feature extraction and reduction algorithm, named DCDistance, that creates features based on the distance between a document to a representative of each class label. As such, the proposed technique can reduce the features set in more than 99% of the original set. Additionally, this algorithm was also capable of improving the classification accuracy over a set of benchmark datasets when compared to traditional and state-of-the-art features selection algorithms.

研究动机与目标

• 通过降低高维稀疏词袋表示的维度，解决文本分类中的维度灾难问题。
• 克服现有特征选择方法在文本挖掘预处理中计算成本高和对参数敏感的问题。
• 开发一种有监督的特征提取技术，利用类别标签信息生成紧凑且信息丰富的表示。
• 在不依赖迭代或启发式特征排序的情况下，实现极端的维度压缩和更高的分类性能。
• 通过将基于距离的特征与特定类别的语义内容关联，实现可解释的表示。

提出的方法

• 通过求和属于该类的所有训练文档向量，为每个类别构建一个代表性向量。
• 对于每个测试文档，使用选定的距离度量（例如余弦或 L2）计算其与每个类别代表性向量的距离。
• 为每篇文档生成一个 k 维的特征向量，其中 k 为不同类别标签的数量。
• 将生成的距离向量用作下游分类模型的最终输入表示。
• 利用高效的存储结构，实现与文档数量成线性时间复杂度。
• 通过在特征构建过程中直接整合类别标签信息，确保方法本质上是有监督的。

实验结果

研究问题

• RQ1 基于距离的特征提取方法是否能在压缩维度超过 99% 的同时，仍保持或提升分类准确率？
• RQ2 DCDistance 在准确率和压缩率方面与传统及最先进特征选择技术相比表现如何？
• RQ3 所提取的距离特征在多大程度上反映了与类别主题的有意义语义关系？
• RQ4 该方法是否能减少预处理时间并消除对特征数量超参数调优的需求？
• RQ5 代表性向量及其相关高权重词在多大程度上可解释其与类别语义的关系？

主要发现

• DCDistance 在所有评估的数据集中将原始特征集压缩超过 99%，实现了极端的维度压缩。
• 该方法在多个基准数据集（如 20 Newsgroups、Genes、Cluster）上的分类准确率优于原始词袋表示和最先进特征选择技术。
• 类别代表性向量中的关键词与各自类别主题表现出强烈的语义相关性，表明学习到了有意义的特征。
• 该算法实现了高性能的线性时间复杂度，使其在大规模文本数据集上具有可扩展性和高效性。
• 基于距离的特征表现出优越的泛化能力，可能归因于在特征构建过程中整合了类别级别信息。
• 在所有测试数据集中，该方法在准确率和压缩率方面均优于四种竞争方法和原始特征集。