[논문 리뷰] Character-level Convolutional Networks for Text Classification

Xiang Zhang, Junbo Zhao외 1명|arXiv (Cornell University)|2015. 09. 04.

Topic Modeling참고 문헌 30인용 수 3,267

한 줄 요약

이 논문은 텍스트 분류를 위한 문자 수준 ConvNets를 실증적으로 평가하고 대규모 데이터셋에서 단어 수준 표현에 의존하지 않고 경쟁력 있거나 최첨단의 결과를 보인다.

ABSTRACT

This article offers an empirical exploration on the use of character-level convolutional networks (ConvNets) for text classification. We constructed several large-scale datasets to show that character-level convolutional networks could achieve state-of-the-art or competitive results. Comparisons are offered against traditional models such as bag of words, n-grams and their TFIDF variants, and deep learning models such as word-based ConvNets and recurrent neural networks.

연구 동기 및 목표

• 단어 수준 표현 대신 문자 수준 신호를 사용하여 텍스트 분류를 동기화한다.
• 대규모 데이터셋에서 심층 문자 수준 ConvNets가 경쟁력 있거나 최첨단 성과를 달성할 수 있음을 보인다.
• 다양한 태스크에서 문자 수준 ConvNets를 전통적 모델 및 단어 기반 딥러닝 접근법과 비교한다.
• 데이터셋 규모, 알파벳 선택, 데이터 증강이 모델 성능에 미치는 영향을 조사한다.

제안 방법

• 70-문자 알파벳 입력에서 작동하는 두 개의 9-층 문자 수준 ConvNets(대형 및 소형)를 사용한다.
• 다중 커널 크기의 1-D 시계열 합성곱과 풀링을 적용한 후, 완전 연결 층과 드롭아웃을 따른다.
• 모멘텀을 갖춘 SGD와 특정 학습률 스케줄, Torch7 구현으로 학습한다.
• 입력을 고정 길이의 원-핫 문자 벡터로 양자화하고, 시퀀스에서 최근 문자를 우선시한다.
• 의미 확장을 위해 동의어 사전 기반의 대체를 통해 데이터 증강을 수행한다.
• Bag-of-Words/TFIDF, Bag-of-N-grams, Bag-of-means, LSTM, 그리고 사전학습 임베딩이 있는 혹은 없는 단어 기반 ConvNets와 비교한다.

실험 결과

연구 질문

• RQ1 단어 수준 토큰 없이 문자 수준 ConvNets가 텍스트 분류에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 대규모 데이터셋에서 문자 수준 모델이 전통적 및 단어 수준 딥러닝 접근법과 어떻게 비교되는가?
• RQ3 데이터셋 규모, 알파벳 선택, 데이터 증강이 모델 성능에 미치는 영향은 무엇인가?
• RQ4 사용자 생성 텍스트처럼 더 덜 큐레이션된 텍스트에서 문자 수준 ConvNets가 더 강건한가?
• RQ5 대규모 데이터에서 대문자와 소문자 구분이 성능에 도움이 되거나 해를 끼치는가?

주요 결과

모델	AG	Sogou	DBP.	Yelp P.	Yelp F.	Yahoo A.	Amz F.	Amz P.
BoW	11.19	7.15	3.39	7.76	42.01	31.11	45.36	9.60
BoW TFIDF	10.36	6.55	2.63	6.34	40.14	28.96	44.74	9.00
ngrams	7.96	2.92	1.37	4.36	43.74	31.53	45.73	7.98
ngrams TFIDF	7.64	2.81	1.31	4.56	45.20	31.49	47.56	8.46
Bag-of-means	16.91	10.79	9.55	12.67	47.46	39.45	55.87	18.39
LSTM	13.94	4.82	1.45	5.26	41.83	29.16	40.57	6.10
Lg. w2v Conv.	9.92	4.39	1.42	4.60	40.16	31.97	44.40	5.88
Sm. w2v Conv.	11.35	4.54	1.71	5.56	42.13	31.50	42.59	6.00
Lg. w2v Conv. Th.	9.91	-	1.37	4.63	39.58	31.23	43.75	5.80
Sm. w2v Conv. Th.	10.88	-	1.53	5.36	41.09	29.86	42.50	5.63
Lg. Lk. Conv.	8.55	4.95	1.72	4.89	40.52	29.06	45.95	5.84
Sm. Lk. Conv.	10.87	4.93	1.85	5.54	41.41	30.02	43.66	5.85
Lg. Lk. Conv. Th.	8.93	-	1.58	5.03	40.52	28.84	42.39	5.52
Sm. Lk. Conv. Th.	9.12	-	1.77	5.37	41.17	28.92	43.19	5.51
Lg. Full Conv.	9.85	8.80	1.66	5.25	38.40	29.90	40.89	5.78
Sm. Full Conv.	11.59	8.95	1.89	5.67	38.82	30.01	40.88	5.78
Lg. Full Conv Th.	9.51	-	1.55	4.88	38.04	29.58	40.54	5.51
Sm. Full Conv Th.	10.89	-	1.69	5.42	37.95	29.90	40.53	5.66
Lg. Conv.	12.82	4.88	1.73	5.89	39.62	29.55	41.31	5.51
Sm. Conv.	15.65	8.65	1.98	6.53	40.84	29.84	40.53	5.50
Lg. Conv Th.	13.39	-	1.60	5.82	39.30	28.80	40.45	4.93
Sm. Conv Th.	14.80	-	1.85	6.49	40.16	29.84	40.43	5.67

• 문자 수준 ConvNets가 단어에 의존하지 않고 텍스트 분류에 효과적일 수 있다.
• 더 크고 덜 큐레이션된 백만 개 규모의 데이터셋은 문자 수준 ConvNets를 전통적 방법보다 선호하는 경향이 있다.
• 동의어 사전 기반 데이터 증강은 문자 수준 모델의 성능을 향상시킨다.
• 대규모 데이터에서 알파벳 선택(대소문자 구분)은 성능을 해치는 경향이 있으며, 구분하지 않는 것이 일반화에 도움이 된다.
• 작은 데이터셋에서는 단어 기반 딥모형이 여전히 우수할 수 있지만, 아주 큰 데이터셋에서는 문자 수준 ConvNets가 그들을 능가한다.
• 최고의 성과는 문자 수준 ConvNets가 여러 베이스라인을 능가하는 대규모 데이터셋에서 나온다.