[논문 리뷰] Learning text representation using recurrent convolutional neural network with highway layers

Ying Wen, Weinan Zhang외 2명|arXiv (Cornell University)|2016. 06. 22.

Topic Modeling참고 문헌 15인용 수 49

한 줄 요약

이 논문은 감성 분석을 위한 텍스트 표현을 향상시키기 위해 고속 레이어(highway layers)를 순환 합성곱 신경망에 통합한 하이브리드 신경망 RCNN-HW를 제안한다. 양방향 RNN 출력에서 유용한 특징을 선택적으로 정제한 후에 합성곱 특징 추출을 수행함으로써, 이 모델은 장문의 텍스트 감성 분류에서 CNN, RNN, 표준 RCNN 기준 모델들을 능가하는 우수한 성능을 달성한다. 특히 긴 시퀀스에서 두드러진 성능 향상을 보인다.

ABSTRACT

Recently, the rapid development of word embedding and neural networks has brought new inspiration to various NLP and IR tasks. In this paper, we describe a staged hybrid model combining Recurrent Convolutional Neural Networks (RCNN) with highway layers. The highway network module is incorporated in the middle takes the output of the bi-directional Recurrent Neural Network (Bi-RNN) module in the first stage and provides the Convolutional Neural Network (CNN) module in the last stage with the input. The experiment shows that our model outperforms common neural network models (CNN, RNN, Bi-RNN) on a sentiment analysis task. Besides, the analysis of how sequence length influences the RCNN with highway layers shows that our model could learn good representation for the long text.

연구 동기 및 목표

• 순환망과 합성곱망의 장점을 융합하여 자연어 처리 작업의 텍스트 표현 학습을 향상시키는 것.
• RNN이 장거리 의존성을 포착하는 데 한계가 있고, CNN가 창문 크기와 국소적 맥락에 민감한 점을 해결하는 것.
• 고속 레이어가 감성 분석을 위한 시퀀스 모델링에서 특징 선택에 기여하는지 조사하는 것.
• 특히 장문의 문서에서 입력 시퀀스 길이의 변화에 따른 모델 성능을 평가하는 것.

제안 방법

• 모델은 단계적 아키텍처를 사용한다: 양방향 GRU가 입력 시퀀스를 처리하여 전방 및 후방 맥락을 포착한다.
• 양방향 GRU의 출력은 하나 이상의 고속 레이어를 통과하며, 이는 가중치를 학습하여 특징를 선택적으로 통과하거나 변환한다.
• 고속 레이어는 게이팅 메커니즘을 사용한다: $ h_t = g_t \odot x_t + (1 - g_t) \odot \mathrm{tanh}(Wx_t + b) $, 여기서 $ g_t $ 는 특징 흐름을 제어한다.
• 변환된 표현은 다수의 필터를 갖는 1D 합성곱 레이어에 입력되어 국소적 특징을 추출한다.
• 최대 풀링이 합성곱 특징 맵 전반에 적용되어 고정 길이의 문장 표현을 생성한다.
• 최종 표현은 소프트맥스를 사용하는 완전 연결 레이어를 통해 감성 분류에 사용된다.

실험 결과

연구 질문

• RQ1 RCNN에 고속 레이어를 통합함으로써 감성 분석을 위한 텍스트 표현 학습이 향상되는가?
• RQ2 RCNN-HW 모델은 감성 분류 작업에서 표준 CNN, RNN, RCNN 기준 모델보다 성능이 뛰어나게 되는가?
• RQ3 입력 시퀀스 길이가 RCNN-HW의 성능에 미치는 영향은 다른 신경망 아키텍처와 비교해 어떻게 되는가?
• RQ4 고속 레이어가 장문 텍스트 표현에서 특징 선택을 향상시키고 노이즈를 감소시키는가?

주요 결과

• RCNN-HW는 감성 분석에서 CNN, RNN, Bi-RNN, 표준 RCNN를 모두 능가하며, 테스트된 모든 모델 중에서 가장 높은 정확도를 기록한다.
• 한 개 또는 두 개의 고속 레이어를 갖는 모델가 최고의 성능를 보이며, 추가 레이어는 성능 향상에 기여하지 않거나 오히려 성능 저하를 초래할 수 있다.
• 단일 레이어의 MLP는 고속 레이어만큼 성능 향상이 크지 않아, 고속 레이어의 게이팅 메커니즘이 특징 선택에 더 효과적임을 시사한다.
• RCNN-HW는 장문의 텍스트(예: 시퀀스 길이 498)에서 뚜렷한 성능 향상을 보이며, 다른 모델들이 길이 증가에 따라 성능 저하 또는 정체에 빠지는 것과는 대조된다.
• 모델은 이중 부정문과 장거리 의존성을 포함한 복잡한 장문 리뷰를 정확히 분류할 수 있으며, 예를 들어 498토큰의 리뷰를 다른 모델들이 잘못 분류하는 경우에도 정확하게 처리한다.
• 분석 결과, RCNN-HW는 CNN을 RNN 이전에 사용하는 모델이나 간단한 아키텍처보다 노이즈를 줄이고 장거리 맥락을 더 잘 유지함을 확인한다.