[논문 리뷰] Text Classification Improved by Integrating Bidirectional LSTM with Two-dimensional Max Pooling

Peng Zhou, Zhenyu Qi외 4명|arXiv (Cornell University)|2016. 11. 21.

Sentiment Analysis and Opinion Mining참고 문헌 39인용 수 305

한 줄 요약

이 논문은 BLSTM-2DPooling 및 BLSTM-2DCNN을 소개합니다. 두 방법은 BLSTM이 생성한 표현에 2D 합성곱과 2D 최대풀링을 적용하여 SST-1 및 SST-2에서 최첨단 성능을 달성하며 여섯 개 데이터셋에서 텍스트 분류를 개선합니다.

ABSTRACT

Recurrent Neural Network (RNN) is one of the most popular architectures used in Natural Language Processsing (NLP) tasks because its recurrent structure is very suitable to process variable-length text. RNN can utilize distributed representations of words by first converting the tokens comprising each text into vectors, which form a matrix. And this matrix includes two dimensions: the time-step dimension and the feature vector dimension. Then most existing models usually utilize one-dimensional (1D) max pooling operation or attention-based operation only on the time-step dimension to obtain a fixed-length vector. However, the features on the feature vector dimension are not mutually independent, and simply applying 1D pooling operation over the time-step dimension independently may destroy the structure of the feature representation. On the other hand, applying two-dimensional (2D) pooling operation over the two dimensions may sample more meaningful features for sequence modeling tasks. To integrate the features on both dimensions of the matrix, this paper explores applying 2D max pooling operation to obtain a fixed-length representation of the text. This paper also utilizes 2D convolution to sample more meaningful information of the matrix. Experiments are conducted on six text classification tasks, including sentiment analysis, question classification, subjectivity classification and newsgroup classification. Compared with the state-of-the-art models, the proposed models achieve excellent performance on 4 out of 6 tasks. Specifically, one of the proposed models achieves highest accuracy on Stanford Sentiment Treebank binary classification and fine-grained classification tasks.

연구 동기 및 목표

• 텍스트 표현에서 시퀀스의 시간 축 정보와 특징 차원 정보를 모두 활용하는 동기를 제시한다.
• BLSTM 출력에 2D 풀링 및 합성곱을 적용하는 두 가지 아키텍처(BLSTM-2DPooling 및 BLSTM-2DCNN)를 제안한다.
• 다섯 개의 데이터셋에서의 성능을 통해 최첨단 모델보다 개선된 성능을 보임을 보인다.

제안 방법

• 입력 텍스트를 단어 임베딩으로 변환한다.
• BLSTM을 사용하여 양방향 컨텍스트를 포착하고 특징의 행렬을 생성한다.
• BLSTM 출력 행렬의 두 차원에서 특징을 샘플링하기 위해 2D 합성곱을 적용한다.
• 고정 길이의 텍스트 표현을 얻기 위해 2D 최대풀링을 적용한다.
• 소프트맥스 계층으로 분류하고 교차 엔트로피 손실에 L2 정규화를 사용하여 최적화한다.

실험 결과

연구 질문

• RQ1 2D 합성곱과 2D 최대풀링이 전통적인 1D 풀링이나 CNN 접근 방식에 비해 텍스트 분류 성능을 향상시키는가?
• RQ2 BLSTM-2DPooling과 BLSTM-2DCNN은 감정 분석, 주관성, 주제 분류와 같은 태스크에서 어떻게 성능을 보이는가?
• RQ3 모델 성능에 대한 2D 필터 크기와 풀링 크기의 영향은 무엇인가?

주요 결과

• BLSTM-2DCNN은 SST-1과 SST-2 데이터셋에서 각각 52.4와 89.5의 최고 정확도를 달성한다.
• BLSTM-2DCNN은 MR, Subj, TREC, 20Ng를 포함한 대다수의 태스크에서 BLSTM-2DPooling 및 여러 베이스라인보다 우수하다.
• BLSTM-2DPooling은 단독 BLSTM보다 개선되지만 여러 데이터셋에서 BLSTM-2DCNN 및 일부 최첨단 모델에 의해 능가된다.
• BLSTM-2DCNN은 2D 연산이 시퀀스의 시간 축과 특징 차원의 종속성을 포착하여 문장 수준 및 문서 수준 분류에서 강력한 성능을 보여준다.
• 감도 분석에 따르면 더 큰 2D 필터가 성능을 높일 수 있으며, 예를 들어 SST-1의 최적 결과는 5x5 필터와 5x5 풀링에서 관찰된다.