[논문 리뷰] Comparative Study of CNN and RNN for Natural Language Processing

Wenpeng Yin, Katharina Kann외 2명|arXiv (Cornell University)|2017. 02. 07.

Topic Modeling참고 문헌 20인용 수 894

한 줄 요약

본 논문은 다양한 NLP 작업에 걸쳐 CNN, GRU, LSTM을 체계적으로 비교하며 RNN이 순서 이해에서 종종 우수하고 CNN이 특정 로컬 핵심 문구 작업에서 우수할 수 있음을 보여줍니다. 또한 은닉 차원, 배치 크기 등과 같은 하이퍼파라미터가 성능에 크게 영향을 미칩니다.

ABSTRACT

Deep neural networks (DNN) have revolutionized the field of natural language processing (NLP). Convolutional neural network (CNN) and recurrent neural network (RNN), the two main types of DNN architectures, are widely explored to handle various NLP tasks. CNN is supposed to be good at extracting position-invariant features and RNN at modeling units in sequence. The state of the art on many NLP tasks often switches due to the battle between CNNs and RNNs. This work is the first systematic comparison of CNN and RNN on a wide range of representative NLP tasks, aiming to give basic guidance for DNN selection.

연구 동기 및 목표

• CNN, GRU, LSTM의 상대적 강점을 광범위한 NLP 작업에서 평가한다.
• 텍스트의 로컬 vs 글로벌 의미 정보를 CNN이 더 잘 포착하는지 RNN이 더 잘 포착하는지 조사한다.
• 작업 특성에 따라 NLP에서 DNN 선택에 대한 지침을 제공한다.

제안 방법

• 기본적인 초기 학습 임베딩 없이 순수한 사전학습 없이 CNN, GRU, LSTM를 구현한다.
• 공정한 비교를 보장하기 위해 dev 데이터에서 모델별 하이퍼파라미터를 조정한다.
• 감정 분류, 관계 분류, 텍스트 포함 여부 판단, 정답 선택, 질문-관계 매칭, 경로 질의 응답, 품사 태깅 등의 작업을 평가한다.
• GRU/LSTM의 경우 왼쪽에서 오른쪽으로 한 번의 패스 인코딩을 사용하고, 품사 태깅에는 양방향 RNN을 평가한다.
• CNN의 경우 단어 임베딩에 대한 합성곱 층과 최대풀링을 사용하여 고정 크기 표현을 생성한다.

실험 결과

연구 질문

• RQ1 텍스트 분류 작업에서 CNN과 RNN은 보완적인 정보를 제공하는가?
• RQ2 전글의 의미를 이해하는 것이 중요한지 여부가 CNN vs RNN 성능에 어떤 영향을 미치는가?
• RQ3 학습률, 은닉 차원, 배치 크기와 같은 하이퍼파라미터에 대해 CNN과 RNN의 성능은 얼마나 민감한가?
• RQ4 다양한 NLP 작업에서 긴 거리 의존성 대 로컬 핵심 구문 단서의 처리를 어떤 아키텍처가 더 잘하는가?

주요 결과

• CNN과 RNN은 텍스트 분류 작업에서 보완적 정보를 제공한다.
• 전글의 전반적 시퀀스 이해가 작업에 중요하든 아니든 성능이 달라진다.
• 일반적으로 RNN의 성능은 작업 전반에서 강건하고 경쟁력이 있지만, 특정 핵심 구문 의존성 설정에서는 CNN이 우수할 수 있다.
• 학습률 변화는 성능에 부드럽게 영향을 미치는 반면, 은닉 차원과 배치 크기는 더 큰 변동을 일으킨다.
• 양방향 RNN은 단방향 변형보다 품사 태깅에서 성능을 향상시킬 수 있다.