[论文解读] Text Classification Improved by Integrating Bidirectional LSTM with Two-dimensional Max Pooling

Peng Zhou, Zhenyu Qi+4 more|arXiv (Cornell University)|Nov 21, 2016

Sentiment Analysis and Opinion Mining参考文献 39被引用 305

一句话总结

本论文提出 BLSTM-2DPooling 和 BLSTM-2DCNN，这些方法在 BLSTM 产生的表示上应用 2D 卷积和 2D 最大池化，以提升文本分类在六个数据集上的表现，在 SST-1 和 SST-2 上达到最先进的性能。

ABSTRACT

Recurrent Neural Network (RNN) is one of the most popular architectures used in Natural Language Processsing (NLP) tasks because its recurrent structure is very suitable to process variable-length text. RNN can utilize distributed representations of words by first converting the tokens comprising each text into vectors, which form a matrix. And this matrix includes two dimensions: the time-step dimension and the feature vector dimension. Then most existing models usually utilize one-dimensional (1D) max pooling operation or attention-based operation only on the time-step dimension to obtain a fixed-length vector. However, the features on the feature vector dimension are not mutually independent, and simply applying 1D pooling operation over the time-step dimension independently may destroy the structure of the feature representation. On the other hand, applying two-dimensional (2D) pooling operation over the two dimensions may sample more meaningful features for sequence modeling tasks. To integrate the features on both dimensions of the matrix, this paper explores applying 2D max pooling operation to obtain a fixed-length representation of the text. This paper also utilizes 2D convolution to sample more meaningful information of the matrix. Experiments are conducted on six text classification tasks, including sentiment analysis, question classification, subjectivity classification and newsgroup classification. Compared with the state-of-the-art models, the proposed models achieve excellent performance on 4 out of 6 tasks. Specifically, one of the proposed models achieves highest accuracy on Stanford Sentiment Treebank binary classification and fine-grained classification tasks.

研究动机与目标

• 在文本表示中同时利用时间步信息和特征维度信息。
• 提出两种结构（BLSTM-2DPooling 和 BLSTM-2DCNN），在 BLSTM 输出上应用 2D 池化和卷积。
• 在六个数据集上进行评估，以证明相较于现有最好模型的改进。

提出的方法

• 将输入文本转换为词嵌入。
• 使用 BLSTM 捕获双向上下文，产生一个特征矩阵。
• 在 BLSTM 输出矩阵的两个维度上对样本特征应用 2D 卷积。
• 应用 2D 最大池化以获得固定长度的文本表示。
• 使用 softmax 层进行分类，并通过带有 L2 正则化的交叉熵进行优化。

实验结果

研究问题

• RQ1 在 BLSTM 输出上进行 2D 卷积和 2D 最大池化，是否能在文本分类性能上优于传统的 1D 池化或 CNN 方法？
• RQ2 BLSTM-2DPooling 和 BLSTM-2DCNN 在情感、主观性和主题分类等任务中的表现如何？
• RQ3 2D 过滤器大小和池化大小对模型性能的影响是什么？

主要发现

• BLSTM-2DCNN 在 SST-1 和 SST-2 数据集上分别达到最高准确率（分别为 52.4 和 89.5）。
• BLSTM-2DCNN 在大多数任务上超过 BLSTM-2DPooling 以及若干基线，包括 MR、Subj、TREC 和 20Ng。
• BLSTM-2DPooling 相对于仅 BLSTM 有所提升，但在若干数据集上仍被 BLSTM-2DCNN 及一些最先进模型所超越。
• BLSTM-2DCNN 表明 2D 运算能同时捕捉时间步和特征维度之间的依赖关系，从而在句子级和文档级分类上取得强劲表现。
• 灵敏度分析表明较大的 2D 过滤器可以提升性能，例如 SST-1 的最佳结果是在 5x5 过滤器和 5x5 池化下观察到的。