[논문 리뷰] Is Word Segmentation Necessary for Deep Learning of Chinese Representations?

Xiaoya Li, Yuxian Meng외 4명|arXiv (Cornell University)|2019. 05. 14.

Natural Language Processing Techniques참고 문헌 51인용 수 20

한 줄 요약

이 논문은 딥러닝 기반 중국어 NLP에서 중국어 어절 분할(CWS)이 진정으로 필요한지 여부를 네 가지 작업을 통해 어절 기반 모델과 문자 기반 모델을 비교함으로써 조사한다. 데이터 희소성 감소, OOV 단어 수 감소, 과적합 감소로 인해 문자 기반 모델이 어절 기반 모델을 일관되게 능가함을 발견하여, 현대 딥러닝 환경에서는 CWS가 필수적이지 않다는 것을 시사한다.

ABSTRACT

Segmenting a chunk of text into words is usually the first step of processing Chinese text, but its necessity has rarely been explored. In this paper, we ask the fundamental question of whether Chinese word segmentation (CWS) is necessary for deep learning-based Chinese Natural Language Processing. We benchmark neural word-based models which rely on word segmentation against neural char-based models which do not involve word segmentation in four end-to-end NLP benchmark tasks: language modeling, machine translation, sentence matching/paraphrase and text classification. Through direct comparisons between these two types of models, we find that char-based models consistently outperform word-based models. Based on these observations, we conduct comprehensive experiments to study why word-based models underperform char-based models in these deep learning-based NLP tasks. We show that it is because word-based models are more vulnerable to data sparsity and the presence of out-of-vocabulary (OOV) words, and thus more prone to overfitting. We hope this paper could encourage researchers in the community to rethink the necessity of word segmentation in deep learning-based Chinese Natural Language Processing. \footnote{Yuxian Meng and Xiaoya Li contributed equally to this paper.}

연구 동기 및 목표

• 딥러닝 기반 중국어 NLP에서 중국어 어절 분할(CWS)이 진정으로 필요한지 여부를 조사하기 위해.
• CWS에 의존하는 어절 기반 모델과 CWS가 없는 문자 기반 모델의 성능을 종단 간 NLP 작업에서 비교하기 위해.
• 어절 기반 모델의 성능 저하 원인을 데이터 희소성, OOV 단어, 과적합 등의 측면에서 조사하기 위해.
• 중국어 딥러닝을 위한 표현 학습 향상에 CWS가 유리하다는 오랜 가정을 도전하기 위해.

제안 방법

• 언어 모델링, 기계 번역, 문장 매칭, 텍스트 분류의 네 가지 종단 간 NLP 작업에서 어절 기반 및 문자 기반 신경망 모델을 벤치마킹하기 위해.
• 어휘 크기와 OOV 비율을 제어하기 위해 빈도 임계값을 사용하여 모델 간의 통제된 비교를 가능하게 하기 위해.
• 드롭아웃 정규화를 적용하고 그 영향을 분석하여 과적합 경향성을 평가하기 위해.
• 의미 매칭 작업에서 어텐션 메커니즘을 시각화하여 의미적으로 유사한 문장 간 어절과 문자 간의 정렬을 비교하기 위해.
• 다양한 빈도 임계값에서 OOV 단어가 포함된 문장을 제거하여 OOV의 영향을 모델 성능에 고립적으로 분석하기 위해.
• 어휘와 문자의 빈도 분포를 분석하여 데이터 희소성과 그로 인한 모델 학습에 미치는 영향을 정량화하기 위해.

실험 결과

연구 질문

• RQ1 딥러닝 기반 중국어 NLP 작업에서 어절 분할이 일관된 성능 우위를 제공하는가?
• RQ2 어절 기반 모델이 문자 기반 모델보다 성능이 열 劣하는 주요 원인은 무엇인가?
• RQ3 외부어(OOV) 단어와 데이터 희소성이 모델 일반화 및 과적합에 어느 정도 영향을 미치는가?
• RQ4 OOV를 줄임으로써 어절 기반 모델과 문자 기반 모델 간의 성능 격차를 메울 수 있는가?
• RQ5 라벨이 붙은 CWS 데이터셋은 최종 NLP 작업에 진정으로 유용한가, 아니면 딥러닝 환경에서는 중복되는가?

주요 결과

• 모든 네 가지 벤치마크 작업(언어 모델링, 기계 번역, 문장 매칭, 텍스트 분류)에서 문자 기반 모델이 어절 기반 모델을 일관되게 능가한다.
• 최고의 성능을 보인 문자 기반 모델은 BQ 의미 매칭 작업에서 80.82의 정확도를 기록했으며, 최적의 드롭아웃(0.5 대비 0.3)을 사용한 최고의 어절 기반 모델(80.65)을 능가했다.
• 어절 기반 모델은 심각한 과적합을 겪었으며, 문자 기반 모델(0.3)보다 더 높은 드롭아웃 비율(0.5)이 필요했으며, 이는 데이터 희소성에 더 취약함을 시사한다.
• 훈련 데이터에서 OOV를 제거함에 따라 어절 기반 모델과 문자 기반 모델 간의 성능 격차는 좁아지지만, 특히 높은 빈도 임계값에서 문자 기반 모델이 여전히 열등하다.
• 어절 기반 모델은 높은 데이터 희소성 문제를 겪는다: 고유 어절의 48.7%가 단 한 번만 나타나며, 총 코퍼스의 4.0%에만 기여하여 파라미터 학습이 어려워지고 과적합이 발생한다.
• 시각화 결과, 문자 기반 모델은 의미적으로 유사한 문자(예: 利息) 간의 정렬을 더 잘 수행하는 반면, 어절 기반 모델은 고정된 어절 경계로 인해 하위어인 利息를 구성 요소로 매핑하지 못한다.