[논문 리뷰] Do Convolutional Networks need to be Deep for Text Classification ?

Hoa T. Le, Christophe Cerisara외 1명|arXiv (Cornell University)|2017. 07. 13.

Topic Modeling참고 문헌 31인용 수 70

한 줄 요약

이 논문은 문자 입력과 단어 입력을 사용한 텍스트 분류에서 얕은 CNN과 깊은 CNN을 비교하고, 얕은 단어 기반 CNN이 종종 깊은 문자 모델보다 성능이 우수하며 여러 데이터셋에서 최첨단 성능에 근접하거나 이를 능가하고, 텍스트용 DenseNet 적응이 제시된다.

ABSTRACT

We study in this work the importance of depth in convolutional models for text classification, either when character or word inputs are considered. We show on 5 standard text classification and sentiment analysis tasks that deep models indeed give better performances than shallow networks when the text input is represented as a sequence of characters. However, a simple shallow-and-wide network outperforms deep models such as DenseNet with word inputs. Our shallow word model further establishes new state-of-the-art performances on two datasets: Yelp Binary (95.9\%) and Yelp Full (64.9\%).

연구 동기 및 목표

• 문자 기반 및 단어 기반 입력에 대한 텍스트 분류 성능에 대한 네트워크 깊이의 영향 평가.
• 텍스트 작업에서 얕고 넓은 CNN과 깊은 CNN 및 DenseNet 스타일 아키텍처를 비교.
• CNN의 깊이에서 어떤 입력 정밀도(문자 대 단어)가 가장 큰 이점을 얻는지 파악.
• 단어 수준의 얕은 모델을 사용하여 선택된 데이터셋에서 최첨단 결과를 입증.

제안 방법

• 다중 필터 폭과 전역 최대 풀링을 갖춘 Kim(2014)에서 개량한 얕고 넓은 CNN을 구현.
• 단어 수준에서 텍스트에 DenseNet 아키텍처를 적용하고 문자 수준 변형과 비교.
• 다섯 데이터셋에서 표준화된 하이퍼파라미터로 Adam 최적화를 사용하여 모델을 학습하고 정확도를 보고.
• 임베딩 표현 사용: 단어 입력에는 사전 학습된 word2vec, 문자 입력에는 원-핫 문자 인코딩.
• 광범위한 베이스라인 및 기존 최첨단 방법과 비교.

실험 결과

연구 질문

• RQ1 문자 수준 텍스트 분류 모델에 깊이가 유의미한 이점을 제공하는가?
• RQ2 단어 수준 텍스트 분류에 깊이가 이점을 주는가, 아니면 얕은 단어 수준 모델이 최첨단 성능에 도달하거나 이를 능가할 수 있는가?
• RQ3 깊이가 달라질 때 표준 텍스트 분류 데이터셋에서 문자 수준 입력과 단어 수준 입력은 어떻게 비교되는가?
• RQ4 DenseNet 계열의 텍스트 모델이 어느 입력 수준에서도 성능을 향상시킬 수 있는가?

주요 결과

모델	AGNews	Yelp Binary	Yelp Full	DBPedia	Yahoo
문자 얕고-넓은 CNN	90.7	94.4	60.3	98.0	70.2
문자-DenseNet Nb(4-4-4-4) 글로벌 평균 풀링	90.4	94.2	61.1	97.7	68.8
문자-DenseNet Nb(10-10-4-4) 글로벌 평균 풀링	90.6	94.9	62.1	98.2	70.5
문자-DenseNet Nb(4-4-4-4) 로컬 최대풀링	90.5	95.0	63.6	98.5	72.9
문자-DenseNet Nb(10-10-4-4) 로컬 최대풀링	92.1	95.0	64.1	98.5	73.4
단어 얕고-넓은 CNN	92.2	95.9	64.9	98.7	73.0
단어-DenseNet Nb(4-4-4-4) 글로벌 평균 풀링	91.7	95.8	64.5	98.7	70.4
단어-DenseNet Nb(10-10-4-4) 글로벌 평균 풀링	91.4	95.5	63.6	98.6	70.2
단어-DenseNet Nb(4-4-4-4) 로컬 최대풀링	90.9	95.4	63.0	98.0	67.6
단어-DenseNet Nb(10-10-4-4) 로컬 최대풀링	88.8	95.0	62.2	97.3	68.4

• 깊은 문자 수준 모델은 얕은 모델보다 약간의 이점을 보이지만 데이터셋에 따라 일관되게 우수하지 않다.
• 얕고 넓은 단어 수준 CNN이 강력한 성능을 달성하고 종종 단어 수준에서 깊은 모델과 비슷하거나 이를 능가한다.
• 단어 수준 얕은 모델이 Yelp Binary(95.9%)와 Yelp Full(64.9%)에서 최첨단 결과를 달성한다.
• DenseNet 스타일의 단어 수준 변형은 얕은 단어 수준 CNN에 근접할 수 있지만 일관되게 우수하게는 아니다.
• 전반적으로 깊은 모델이 텍스트 분류에서 항상 얕은 모델보다 우수하지 않으며, 깊이의 이점은 데이터셋과 입력에 의존한다.
• 문자 깊이에 의한 이점이 단어 깊이에 비해 더 두드러지지만, 단어 수준의 얕은 모델도 여전히 매우 효과적이다.