[논문 리뷰] Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding

Manar D. Samad, Nalin D. Khounviengxay외 1명|arXiv (Cornell University)|2020. 07. 25.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 도메인 특화된 트위터 데이터에서 훈련된 스킵그램 단어 임베딩를 사용하여 텍스트 처리 단계가 트위터 감성 분류에 미치는 영향을 조사한다. 데이터 기반의 단어 중요도 및 트윗 벡터 집계 방법을 제안하며, 정규화된 정규화어 제거 및 단어 벡터 평균화가 성능을 저하시키는 것으로 나타났다. 반면, 단어 벡터의 합과 이모티콘, 맥락 인식 단어 중요도를 포함함으로써 AUC는 88.4±0.4로 향상된다.

ABSTRACT

Processing of raw text is the crucial first step in text classification and sentiment analysis. However, text processing steps are often performed using off-the-shelf routines and pre-built word dictionaries without optimizing for domain, application, and context. This paper investigates the effect of seven text processing scenarios on a particular text domain (Twitter) and application (sentiment classification). Skip gram-based word embeddings are developed to include Twitter colloquial words, emojis, and hashtag keywords that are often removed for being unavailable in conventional literature corpora. Our experiments reveal negative effects on sentiment classification of two common text processing steps: 1) stop word removal and 2) averaging of word vectors to represent individual tweets. New effective steps for 1) including non-ASCII emoji characters, 2) measuring word importance from word embedding, 3) aggregating word vectors into a tweet embedding, and 4) developing linearly separable feature space have been proposed to optimize the sentiment classification pipeline. The best combination of text processing steps yields the highest average area under the curve (AUC) of 88.4 (+/-0.4) in classifying 14,640 tweets with three sentiment labels. Word selection from context-driven word embedding reveals that only the ten most important words in Tweets cumulatively yield over 98% of the maximum accuracy. Results demonstrate a means for data-driven selection of important words in tweet classification as opposed to using pre-built word dictionaries. The proposed tweet embedding is robust to and alleviates the need for several text processing steps.

연구 동기 및 목표

• 단어 임베딩를 사용하여 트위터 감성 분류에 대한 일반적인 텍스트 처리 단계의 영향을 평가하기 위해.
• 비공식어, 약어, 이모티콘 등 트위터 도메인의 특성에 맞는 최적의 텍스트 전처리 전략을 규명하기 위해.
• 학습된 단어 임베딩 표현 기반으로 중요한 단어를 선별하는 데이터 기반 방법을 개발하기 위해.
• 표준 텍스트 처리 단계에 의존도를 줄이는 강력한 트윗 임베딩 기법을 제안하기 위해.
• 단어 벡터 집계 및 특징 공간 구성 최적화를 통해 높은 성능의 감성 분류를 달성하기 위해.

제안 방법

• 비공식어, 이모티콘, 해시태그 등을 포함한 도메인 특화된 트위터 코퍼스에서 스킵그램 단어 임베딩를 훈련하여 도메인 특화된 의미를 포착하기 위해.
• 단어 임베딩 벡터의 크기를 측정하여 데이터 기반의 정규화어 선택을 가능하게 하여 사전에 구성된 사전에 의존하지 않기 위해.
• 합, 평균, 가중 평균 연산을 사용하여 개별 단어 벡터를 트윗 수준의 표현으로 집계하기 위해.
• 모델 성능 평가의 편향을 방지하기 위해 10x2 중첩 교차검증을 적용하기 위해.
• 분류기의 일반화 성능 향상을 위해 단어 임베딩에서 선형으로 분리 가능한 특징 공간을 구성하기 위해.
• 감성 관련 신호를 유지하기 위해 비-ASCII 이모티콘 문자를 임베딩 과정에 직접 포함하기 위해.

실험 결과

연구 질문

• RQ1 정규화어 제거 및 단어 벡터 평균화와 같은 일반적인 텍스트 처리 단계가 트위터 감성 분류 성능에 미치는 영향은 무엇인가?
• RQ2 감성 분류를 위한 트윗 수준 표현으로서 단어 벡터를 집계하는 데 최적의 방법은 무엇인가?
• RQ3 트위터 데이터에서 훈련된 단어 임베딩를 사용하여 맥락적으로 중요한 단어를 식별할 수 있는가? 이는 고정된 정규화어 목록에 대한 의존도를 줄일 수 있는가?
• RQ4 이모티콘 및 비-ASCII 문자의 포함 여부가 감성 분류 정확도에 어떤 영향을 미치는가?
• RQ5 데이터 기반의 임베딩 기반 접근법을 통해 트위터 감성 분석에서 과도한 텍스트 전처리의 필요성을 어느 정도 줄일 수 있는가?

주요 결과

• 정규화어 제거는 감성 분류 성능을 심각하게 떨어뜨리며, 낮은 중요도의 단어조차도 임베딩을 통해 예측 가능한 정보를 기여하기 때문이다.
• 트윗 표현을 위한 단어 벡터 평균화는 단어 벡터의 합보다 성능이 열 劣하며, 합이 가장 높은 AUC 88.4±0.4를 기록한다.
• 임베딩 과정에 비-ASCII 이모티콘 문자를 포함시킴으로써 분류 정확도가 향상되며, 이모티콘이 감성 관련 신호를 담고 있기 때문이다.
• 임베딩 크기를 기반으로 산정된 트윗 내 10개의 가장 중요한 단어들이 최대 분류 정확도의 98% 이상을 함께 차지한다.
• 트위터 데이터에서 훈련된 단어 임베딩는 선형으로 분리 가능한 특징 공간을 생성하여 효율적이고 일반화 가능한 감성 분류를 가능하게 한다.
• 제안된 방법은 표준 텍스트 전처리 단계에 대한 의존도를 줄이며, 일부 단어가 OOV(Out-of-Vocabulary)일 경우에도 강건함을 입증한다.