[论文解读] Effective Use of Word Order for Text Categorization with Convolutional Neural Networks

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Dec 1, 2014

Topic Modeling参考文献 24被引用 198

一句话总结

本文提出了一种新颖的卷积神经网络（CNN）方法用于文本分类，直接处理高维独热词向量而非预训练词嵌入，从而在保留词序的同时有效学习局部文本区域表征。该方法通过端到端学习捕捉高阶n-gram（包括训练数据中未见的n-gram），在情感分类和主题分类任务上均达到最先进性能，优于传统的词袋n-gram和基于词嵌入的模型。

ABSTRACT

Convolutional neural network (CNN) is a neural network that can make use of the internal structure of data such as the 2D structure of image data. This paper studies CNN on text categorization to exploit the 1D structure (namely, word order) of text data for accurate prediction. Instead of using low-dimensional word vectors as input as is often done, we directly apply CNN to high-dimensional text data, which leads to directly learning embedding of small text regions for use in classification. In addition to a straightforward adaptation of CNN from image to text, a simple but new variation which employs bag-of-word conversion in the convolution layer is proposed. An extension to combine multiple convolution layers is also explored for higher accuracy. The experiments demonstrate the effectiveness of our approach in comparison with state-of-the-art methods.

研究动机与目标

• 为解决词袋模型和n-gram模型在保留词序方面的局限性，特别是在情感分类中的表现。
• 探究直接将CNN应用于高维稀疏文本数据是否能在文本分类中超越基于词嵌入的方法。
• 探究CNN在捕捉高阶n-gram（如三元组）方面的有效性，即使这些n-gram在训练数据中未显式出现。
• 开发一种简单但高效的CNN架构，避免依赖预训练词向量，同时保持快速训练和高准确率。
• 证明CNN可通过端到端训练泛化到未见n-gram，学习上下文表征。

提出的方法

• 所提出的方法直接将一维卷积层应用于高维独热编码的词向量，跳过词嵌入查找过程。
• 提出两种变体：seq-CNN，为图像CNN直接迁移到文本的适配版本；bow-CNN，其卷积层内应用词袋变换。
• 通过卷积滤波器输出的最大池化操作生成固定长度的特征向量以用于分类。
• 探索多层CNN架构，结合多个卷积层以学习文本区域的分层表征。
• 利用高效的GPU计算处理独热向量的稀疏性，使高维性下的训练成为可能。
• 网络以端到端的监督方式训练，词向量作为训练过程的一部分被学习。

实验结果

研究问题

• RQ1 在文本分类任务中，直接在独热词向量上训练的CNN模型是否能优于传统的词袋n-gram和基于词嵌入的模型？
• RQ2 CNN在多大程度上能够学习并泛化到训练数据中未出现的高阶n-gram（如三元组）？
• RQ3 通过一维卷积保留词序在情感分类和主题分类任务中如何提升性能？
• RQ4 所提出的方法是否在实现更高准确率的同时保持快速的训练和预测速度，优于现有基于CNN的文本模型？
• RQ5 多层卷积层的组合是否能有效捕捉不同文本区域尺度下的互补模式？

主要发现

• 在情感分类任务中，seq-CNN变体优于bow-CNN，在IMDB和Rotten Tomatoes数据集上达到最先进性能。
• 在主题分类任务中，bow-CNN变体优于seq-CNN，表明词袋变换在捕捉主题相关短语方面的有效性。
• 该模型成功泛化到未见的三元组，如“am entirely satisfied”和“best concept ever”，这些短语虽未在训练数据中显式出现，但对准确预测有贡献。
• 即使未使用预训练词嵌入，该系统在准确率上仍优于传统词袋n-gram模型和更复杂的先前CNN模型。
• 多层卷积层的使用通过结合不同类型的文本区域嵌入，进一步提升了性能。
• 实证分析证实，所学嵌入反映了与目标类别语义上的接近程度，语义影响相似的文本区域对应相似的嵌入向量。