[논문 리뷰] Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level

Rie Johnson, Tong Zhang|arXiv (Cornell University)|2016. 08. 31.

Topic Modeling참고 문헌 6인용 수 39

한 줄 요약

이 논문은 이전에 깊은 문자 수준의 컨volution 신경망(문자-CNN)에 사용된 여덟 개의 대규모 텍스트 분류 데이터셋에서 얕은 단어 수준의 컨volution 신경망(단어-CNN)을 평가한다. 더 많은 파라미터를 사용하고 더 많은 스토리지가 필요하지만, 단어-CNN은 깊은 문자-CNN보다 더 낮은 오차율과 훨씬 빠른 추론 속도를 기록한다. 이는 학습 데이터가 크기 때문에 학습된 tv-임베딩을 사용한 단어 수준 표현을 활용할 경우 성능과 효율성이 뛰어나다는 것을 보여준다.

ABSTRACT

This paper reports the performances of shallow word-level convolutional neural networks (CNN), our earlier work (2015), on the eight datasets with relatively large training data that were used for testing the very deep character-level CNN in Conneau et al. (2016). Our findings are as follows. The shallow word-level CNNs achieve better error rates than the error rates reported in Conneau et al., though the results should be interpreted with some consideration due to the unique pre-processing of Conneau et al. The shallow word-level CNN uses more parameters and therefore requires more storage than the deep character-level CNN; however, the shallow word-level CNN computes much faster.

연구 동기 및 목표

• Conneau 등(2016)이 깊은 문자 수준의 CNN에 대해 사용한 여덟 개의 대규모 텍스트 분류 데이터셋에서 얕은 단어 수준의 CNN의 성능을 평가하는 것.
• Conneau 등(2016)에서 보고한 매우 깊은 문자-CNN과 비교하여 얕은 단어-CNN의 오차율과 추론 속도를 비교함으로써 직접 비교의 격차를 메우는 것.
• 텍스트 분류에서 단어 수준과 문자 수준의 CNN 간 모델 크기, 추론 속도, 정확도 간의 상호 교환 관계를 평가하는 것.
• tv-임베딩의 차원 수와 개수의 영향을 분석하여 단어-CNN의 성능과 파라미터 효율성에 미치는 영향을 조사하는 것.

제안 방법

• 연구는 Johnson & Zhang(2015)의 아키텍처를 기반으로 하여 단어 임베딩을 입력으로 사용하고, ReLU 활성화 함수와 최대 풀링을 적용한 컨볼루션 레이어를 적용한 얕은 단어 수준의 CNN을 구현한다.
• 모델은 비라벨 데이터로부터 학습된 tv-임베딩을 포함하여 특징 표현을 향상시키며, 2개, 4개 또는 그 이상의 100 또는 300차원 tv-임베딩 벡터를 사용하는 구성이 있다.
• 입력 시퀀스는 고정 길이 패딩 없이 가변 길이 문서로 처리되며, 문자-CNN의 1014자 문자 자르기 및 패딩 전략과는 다릅니다.
• 모델 학습은 배치 정규화와 ReLU 비선형성을 포함한 확률적 경사 하강법을 사용하며, 분류를 위한 최종 완전 연결 레이어에 집중한다.
• 추론 속도 비교를 위해 계산 시간은 Tesla M2070 GPU에서 측정되며, 전처리 시간은 제외된다.
• 오차율은 Conneau 등(2016)에서 사용된 동일한 테스트 세트에서 보고되어 깊은 문자-CNN 결과와 직접 비교 가능하다.

실험 결과

연구 질문

• RQ1 얕은 단어 수준의 CNN은 깊은 문자 수준의 CNN을 평가한 데 사용된 동일한 대규모 텍스트 분류 데이터셋에서 어떻게 성능을 내는가?
• RQ2 얕은 단어-CNN은 동일한 데이터셋에서 학습되었을 때 Conneau 등(2016)에서 보고한 매우 깊은 문자-CNN보다 더 낮은 오차율을 기록하는가?
• RQ3 단어 수준과 문자 수준의 CNN 간 모델 크기(파라미터 수)와 추론 속도 사이의 상호 교환 관계는 어떠한가?
• RQ4 tv-임베딩의 수와 차원 수는 단어-CNN의 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ5 문자-CNN에서의 전처리 전략(예: 고정 길이 패딩)은 결과 비교의 타당성에 어떤 영향을 미치는가?

주요 결과

• 4개의 100차원 tv-임베딩을 사용한 얕은 단어-CNN은 Yelp.f 테스트 세트에서 오차율 32.39%를 기록했으며, 동일한 데이터셋에서 보고된 깊은 문자-CNN의 오차율 35.28%를 뛰어넘었다.
• 얕은 단어-CNN은 Dbpedia 데이터셋에서 오차율 0.84%를 기록하여 깊은 문자-CNN의 3.05% 오차율을 크게 뛰어넘었다.
• 300차원 tv-임베딩를 사용할 경우 1.84억 개의 파라미터를 가진 단어-CNN은 Yelp.f 테스트 세트에서 72초만에 처리되었고, 깊은 문자-CNN은 700초가 소요되어 거의 10배의 속도 우위를 보였다.
• tv-임베딩 차원 수를 300에서 100으로 줄였을 때 파라미터 수는 절반으로 줄었고 오차율은 0.2%포인트만 증가(32.39%에서 32.55%로)하여 높은 파라미터 효율성을 보였다.
• 얕은 단어-CNN은 여덟 개의 모든 데이터셋에서 깊은 문자-CNN을 일관되게 뛰어넘었으며, 오차율은 Sogou에서 1.89%에서 Ama.f에서 36.52%까지 다양했고, 모두 해당 문자-CNN 결과 이하였다.
• 성능 격차는 단어-CNN이 의미론적 단어 표현을 효과적으로 활용하고 효율적인 희소 계산을 수행할 수 있는 능력 덕분이며, 깊은 문자-CNN은 더 많은 텍스트 단위를 처리하고 순차적 레이어 의존성에 의해 제한된다.