[论文解读] Efficient Text Classification Using Tree-structured Multi-linear Principle Component Analysis

Yuanhang Su, Yuzhong Huang+1 more|arXiv (Cornell University)|Jan 20, 2018

Natural Language Processing Techniques参考文献 3被引用 5

一句话总结

本文提出树形多线性主成分分析（TMPCA），一种新颖的降维技术，用于文本分类，其在句法层面表示上进行操作，而非词级特征。通过利用树形多线性模型，TMPCA 在计算复杂度上显著低于传统PCA，同时使基于SVM的分类器在文本分类任务中达到或超越最先进RNN模型的性能。

ABSTRACT

A novel text data dimension reduction technique, called the tree-structured multi-linear principle component anal- ysis (TMPCA), is proposed in this work. Being different from traditional text dimension reduction methods that deal with the word-level representation, the TMPCA technique reduces the dimension of input sequences and sentences to simplify the following text classification tasks. It is shown mathematically and experimentally that the TMPCA tool demands much lower complexity (and, hence, less computing power) than the ordinary principle component analysis (PCA). Furthermore, it is demon- strated by experimental results that the support vector machine (SVM) method applied to the TMPCA-processed data achieves commensurable or better performance than the state-of-the-art recurrent neural network (RNN) approach.

研究动机与目标

• 通过提出一种更高效的替代方法，解决传统PCA在文本分类中计算成本过高的问题。
• 对句法层面表示进行降维，而非词级特征，以提升分类效率。
• 开发一种在大幅降低计算需求的同时，保持或提升分类准确率的方法。
• 证明基于SVM的分类器在TMPCA处理后的数据上，可与最先进RNN方法相媲美或超越。

提出的方法

• TMPCA利用分层树结构对句法层面表示应用多线性主成分分析，以建模依赖关系。
• 该方法通过将数据投影到由多线性分量定义的低维子空间，降低输入序列和句法维度。
• 树形结构通过在数据的分层级别上分解多线性变换，实现高效计算。
• 该方法使用基于张量的分解，数学形式化降维过程，相比标准PCA，显著降低计算复杂度。
• 该方法旨在保留用于分类的判别性特征，同时减少高维文本数据中的冗余。
• 降维后，对压缩表示应用标准分类器（如SVM）以完成最终的文本分类。

实验结果

研究问题

• RQ1 树形多线性方法是否能比标准PCA更高效地实现文本数据的降维？
• RQ2 所提出的TMPCA方法在分类准确率上是否能与最先进RNN模型保持一致或更优？
• RQ3 在TMPCA处理后的数据上训练的SVM能否在文本分类任务中实现与RNN相当或更优的性能？
• RQ4 TMPCA在文本应用中的计算复杂度与传统PCA相比如何？

主要发现

• TMPCA相比标准PCA，计算复杂度显著降低，大幅减少了对计算资源的需求。
• 应用于TMPCA处理数据的SVM分类器，其性能与最先进RNN模型相当或更优。
• 该方法有效降低了句法层面表示的维度，简化了下游分类任务。
• 实验结果证实，TMPCA在保留关键判别性特征的同时，实现了对文本数据的高效处理。