[論文レビュー] Text Classification Improved by Integrating Bidirectional LSTM with Two-dimensional Max Pooling

Peng Zhou, Zhenyu Qi+4 more|arXiv (Cornell University)|Nov 21, 2016

Sentiment Analysis and Opinion Mining参考文献 39被引用数 305

ひとこと要約

この論文はBLSTM-2DPoolingとBLSTM-2DCNNを導入し、BLSTMが生成する表現に2D畳み込みと2D最大プーリングを適用して、六つのデータセットでテキスト分類を改善し、SST-1とSST-2で最先端を達成する。

ABSTRACT

Recurrent Neural Network (RNN) is one of the most popular architectures used in Natural Language Processsing (NLP) tasks because its recurrent structure is very suitable to process variable-length text. RNN can utilize distributed representations of words by first converting the tokens comprising each text into vectors, which form a matrix. And this matrix includes two dimensions: the time-step dimension and the feature vector dimension. Then most existing models usually utilize one-dimensional (1D) max pooling operation or attention-based operation only on the time-step dimension to obtain a fixed-length vector. However, the features on the feature vector dimension are not mutually independent, and simply applying 1D pooling operation over the time-step dimension independently may destroy the structure of the feature representation. On the other hand, applying two-dimensional (2D) pooling operation over the two dimensions may sample more meaningful features for sequence modeling tasks. To integrate the features on both dimensions of the matrix, this paper explores applying 2D max pooling operation to obtain a fixed-length representation of the text. This paper also utilizes 2D convolution to sample more meaningful information of the matrix. Experiments are conducted on six text classification tasks, including sentiment analysis, question classification, subjectivity classification and newsgroup classification. Compared with the state-of-the-art models, the proposed models achieve excellent performance on 4 out of 6 tasks. Specifically, one of the proposed models achieves highest accuracy on Stanford Sentiment Treebank binary classification and fine-grained classification tasks.

研究の動機と目的

• テキスト表現における時系列情報と特徴次元の両方を活用する動機付け。
• BLSTMの出力に2Dプーリングと畳み込みを適用する2つのアーキテクチャ（BLSTM-2DPoolingとBLSTM-2DCNN）を提案。
• 6つのデータセットで評価し、最先端モデルに対する改善を示す。

提案手法

• 入力テキストを単語埋め込みへ変換。
• BLSTMを用いて双方向の文脈を捉え、特徴の行列を出力。
• BLSTM出力行列の両次元にわたって特徴をサンプルするために2D畳み込みを適用。
• 固定長のテキスト表現を得るために2D最大プーリングを適用。
• ソフトマックス層で分類し、L2正則化を伴う交差エントロピーで最適化。

実験結果

リサーチクエスチョン

• RQ1 BLSTM出力に2D畳み込みと2D最大プーリングを適用すると、従来の1DプーリングやCNNアプローチよりテキスト分類性能は向上するか？
• RQ2 BLSTM-2DPoolingとBLSTM-2DCNNは感情、主観性、トピック分類のようなタスクでどのように性能を発揮するか？
• RQ3 モデル性能に対する2Dフィルターサイズとプーリングサイズの影響はどの程度か？

主な発見

• BLSTM-2DCNNはSST-1とSST-2データセットで最高の精度を達成（52.4と89.5）。
• BLSTM-2DCNNは MR、Subj、TREC、20Ng を含む大半のタスクでBLSTM-2DPoolingおよびいくつかのベースラインを上回る。
• BLSTM-2DPoolingはBLSTM単独を上回るが、いくつかのデータセットではBLSTM-2DCNNや最先端モデルには及ばない。
• BLSTM-2DCNNは2D演算が時系列次元と特徴次元の両方の依存関係を捉えることを示し、文レベルおよび文書レベルの分類で高い性能を示す。
• 感度分析はより大きな2Dフィルターが性能を向上させる可能性を示しており、例として最良のSST-1結果は5x5フィルターと5x5プーリングで観察。