[论文解读] Efficient Text Classification Using Tree-structured Multi-linear Principal Component Analysis

Yuanhang Su, Yuzhong Huang+1 more|arXiv (Cornell University)|Jan 20, 2018

Text and Document Classification Technologies被引用 5

一句话总结

本文提出树形多线性主成分分析（TMPCA），一种新颖的降维技术，可在压缩整个句子为紧凑向量的同时保留序列模式。TMPCA在四个基准数据集上使用SVM进行文本分类时达到最先进性能，甚至优于基于RNN的模型，且计算资源需求远低于PCA或GPU加速的RNN。

ABSTRACT

A novel text data dimension reduction technique, called the tree-structured multi-linear principal component anal- ysis (TMPCA), is proposed in this work. Being different from traditional text dimension reduction methods that deal with the word-level representation, the TMPCA technique reduces the dimension of input sequences and sentences to simplify the following text classification tasks. It is shown mathematically and experimentally that the TMPCA tool demands much lower complexity (and, hence, less computing power) than the ordinary principal component analysis (PCA). Furthermore, it is demon- strated by experimental results that the support vector machine (SVM) method applied to the TMPCA-processed data achieves commensurable or better performance than the state-of-the-art recurrent neural network (RNN) approach.

研究动机与目标

• 为通过降低整个句子的维度而非单个词语的维度来缓解文本分类中的维度灾难。
• 开发一种计算高效的传统PCA替代方案，适用于高维文本数据。
• 在降维过程中保留句子的序列与语义模式，以提升分类性能。
• 证明基于TMPCA处理数据的简单SVM分类器可达到或超越复杂RNN模型的性能。
• 验证TMPCA在不同N-gram预处理级别和数据集上的鲁棒性。

提出的方法

• TMPCA在分层树结构中应用多线性PCA处理句子级嵌入，以保留局部与全局依赖关系。
• 该方法通过树形结构分解将输入句子张量分解为多个模式，以高效降低维度。
• 利用张量的低秩近似对数据进行压缩，同时保留主要语义模式。
• 该算法在数学上被证明具有比标准PCA更低的计算复杂度，尤其适用于高维序列。
• TMPCA将整个句子作为一个整体进行处理，相比词袋或词级方法，能更好地保持词序与上下文关系。
• 将降维后的数据输入支持向量机（SVM）进行分类，利用紧凑且结构化的表示。

实验结果

研究问题

• RQ1 树形多线性PCA方法是否能在更低计算成本下，优于传统PCA实现句子级文本降维？
• RQ2 通过TMPCA保留句子级结构是否能带来优于词级或词袋方法的分类准确率？
• RQ3 在TMPCA处理的数据上训练的简单SVM分类器能否实现与RNN等深度学习模型相当或更优的性能？
• RQ4 TMPCA在不同N-gram预处理级别下的泛化能力与误差率表现如何，是否具有鲁棒性？
• RQ5 与PCA或RNN相比，使用TMPCA在降维、训练时间与分类准确率之间存在何种权衡？

主要发现

• TMPCA将数据维度降低至原始大小的约1/32至1/64，且未造成显著性能下降，在全部四个数据集上均优于PCA+SVM。
• TMPCA+SVM在所有四个数据集上均取得最低错误率：SMS SPAM为2.33%，SST为21.24%，SemEval为24.09%，IMDB为24.40%。
• 尽管仅使用CPU计算，TMPCA+SVM的总训练时间显著短于在GPU上训练的RNN，证明其具有卓越的计算效率。
• 该方法在不同N-gram预处理级别下均表现稳健，其中SMS SPAM使用unigram效果最佳，SST与IMDB使用bigram，SemEval使用4-gram。
• 与原始数据相比，SVM在TMPCA处理后的数据上训练时间大幅缩短，证实降维有助于缓解过拟合并加速学习。
• 数学分析证实，TMPCA的计算复杂度显著低于标准PCA，使其在大规模文本应用中具备可扩展性。