[논문 리뷰] On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis

José Camacho-Collados, Mohammad Taher Pilehvar|arXiv (Cornell University)|2017. 07. 06.

Topic Modeling인용 수 8

한 줄 요약

이 연구는 신경망 기반 텍스트 분류에서 일반적인 텍스트 전처리 기법—토큰화, 소문자화, 표제어 추출, 복합어 그룹화—의 영향을 평가한다. 결과적으로 간단한 토큰화가 더 복잡한 전처리 기법보다 종종 우수한 성능을 보이며, 복합어를 고려한 워드 임베딩은 심지어 기본 토큰화 입력에서도 성능을 크게 향상시킨다. 이는 전처리 일관성의 중요성과 사전 학습된 임베딩에서 복합어 학습의 간과된 역할을 강조한다.

ABSTRACT

Text preprocessing is often the first step in the pipeline of a Natural Language Processing (NLP) system, with potential impact in its final performance. Despite its importance, text preprocessing has not received much attention in the deep learning literature. In this paper we investigate the impact of simple text preprocessing decisions (particularly tokenizing, lemmatizing, lowercasing and multiword grouping) on the performance of a standard neural text classifier. We perform an extensive evaluation on standard benchmarks from text categorization and sentiment analysis. While our experiments show that a simple tokenization of input text is generally adequate, they also highlight significant degrees of variability across preprocessing techniques. This reveals the importance of paying attention to this usually-overlooked step in the pipeline, particularly when comparing different models. Finally, our evaluation provides insights into the best preprocessing practices for training word embeddings.

연구 동기 및 목표

• 기본 텍스트 전처리 결정이 표준 신경망 텍스트 분류기 성능에 미치는 영향을 조사하기 위해.
• 입력 텍스트 준비 시 전처리 선택이 모델의 일반화 및 성능에 영향을 미치는지 평가하기 위해.
• 전처리가 워드 임베딩과 그 이후 신경망 내 성능에 미치는 영향을 평가하기 위해.
• 텍스트 분류 작업을 위한 최적의 전처리 관행에 대한 경험적 지침을 제공하기 위해.
• 다른 NLP 모델을 비교할 때 자주 간과되는 전처리 일관성의 영향을 부각하기 위해.

제안 방법

• 연구는 텍스트 분류 기준 테스트 벤치마크에서 네 가지 전처리 기법—토큰화(기본형), 소문자화, 표제어 추출, 복합어 그룹화—를 평가한다.
• 여러 데이터셋을 사용해 텍스트 분류 및 감성 분석을 위한 표준 컨volutional 신경망(CNN) 아키텍처를 기준 분류기로 사용한다.
• 실험은 두 가지 설정에서 수행된다: 내부 전처리(입력과 임베딩에 동일한 전처리 사용) 및 교차 전처리(입력과 임베딩에 다른 전처리 사용).
• 워드 임베딩은 다양한 전처리 변형—기본형, 소문자화, 표제어 추출, 복합어 그룹화—로 구성된 코퍼스를 사용해 초기화된다.
• 성능는 아홉 개인 다양한 데이터셋에서 정확도로 측정되며, 유의미한 차이를 식별하기 위해 통계적 유의성 검정이 적용된다.
• 분석에는 전처리 변형 간의 상호작용을 평가하기 위한 아블레이션 연구가 포함된다.

실험 결과

연구 질문

• RQ1 소문자화, 표제어 추출, 복합어 그룹화와 같은 다양한 텍스트 전처리 기법이 표준 CNN 기반 텍스트 분류기 성능에 어떻게 영향을 미치는가?
• RQ2 워드 임베딩 학습 코퍼스의 전처리가 신경망 기반 텍스트 분류기의 최종 성능에 영향을 미치는가?
• RQ3 신경망 기반 텍스트 분류에서 복잡한 전처리 기법이 단순 토큰화보다 일관되게 우월한가?
• RQ4 교차 전처리 설정에서 임베딩 전처리 선택이 입력 전처리와 어떻게 상호작용하는가?
• RQ5 신경망 기반 텍스트 분류의 맥락에서 워드 임베딩을 훈련하기 위한 가장 효과적인 전처리 관행은 무엇인가?

주요 결과

• 단순한 토큰화(기본형)는 대부분의 데이터셋에서 표제어 추출 및 소문자화와 같은 더 복잡한 전처리 기법보다 동일하거나 더 우수한 성능을 보인다.
• 워드 임베딩 학습 코퍼스에 복합어 그룹화 전처리를 적용하면 성능이 향상되며, 특히 기본 토큰화 입력에서 두드러진다. 단일 CNN 모델을 사용한 아홉 데이터셋 중 일곱 곳에서 최고 성능 기록.
• 표제어 추출 및 소문자화는 교차 전처리 설정에서 임베딩 내 자소문자 및 어형 변화 형태의 커버리지가 제한되어 성능 저하를 보인다.
• 기본 입력에 복합어 인식 임베딩을 사용할 경우, 복합어 그룹화 입력에 동일한 임베딩을 사용하는 것보다 성능이 뛰어나며, 이는 훈련 중에 복합어 표현을 분리함으로써 일반화 성능이 향상됨을 시사한다.
• 전처리 선택에 따른 성능 변동은 평균 ±2.4%까지 도달하며, 이는 특히 훈련 데이터가 제한된 경우 전처리가 매우 중요한 영향을 미친다는 것을 시사한다.
• 결과적으로 사전 학습된 Word2Vec 임베딩의 성공은 복합어 표현을 학습한 데 기인한 부분이 있으며, 이는 모델 평가 시 종종 간과되는 요소임을 시사한다.