[논문 리뷰] NILC-USP at SemEval-2017 Task 4: A Multi-view Ensemble for Twitter Sentiment Analysis

Edilson A. Corrêa, Vanessa Queiroz Marinho외 1명|arXiv (Cornell University)|2017. 04. 07.

Topic Modeling참고 문헌 14인용 수 11

한 줄 요약

이 논문은 세 가지 서로 다른 텍스트 표현 방식—tf-idf를 적용한 bag-of-words, 평균화된 워드 임베딩, 가중치가 부여된 워드 임베딩—을 사용하여 트위터 감성 분석을 위한 다중 시각 앙상블 시스템을 제안한다. 각 표현 방식은 선형 분류기(SVM 또는 로지스틱 회귀)와 짝을 이룬다. 앙상블는 SemEval-2017 Task 4 subtask A(영어)에서 F1 스코어 0.595를 기록하여 총 38개 시스템 중 18위를 차지하였다.

ABSTRACT

This paper describes our multi-view ensemble approach to SemEval-2017 Task 4 on Sentiment Analysis in Twitter, specifically, the Message Polarity Classification subtask for English (subtask A). Our system is a voting ensemble, where each base classifier is trained in a different feature space. The first space is a bag-of-words model and has a Linear SVM as base classifier. The second and third spaces are two different strategies of combining word embeddings to represent sentences and use a Linear SVM and a Logistic Regressor as base classifiers. The proposed system was ranked 18th out of 38 systems considering F1 score and 20th considering recall.

연구 동기 및 목표

• 짧고 비공식적인 트위터 텍스트에서 다양한 텍스트 표현 기법을 활용한 감성 분류 성능 향상.
• 특징 융합 없이 서로 다른 특징 공간을 조합하는 다중 시각 앙상블 접근법의 효과성 평가.
• 최소한의 전처리로도 노이즈가 많은 소셜 미디어 텍스트에서 간단하고 해석 가능한 모델(SVM, 로지스틱 회귀)의 성능 평가.
• 기존의 임베딩 기반 접근법에서 사자어, 어순, 비공식어의 처리에 대한 한계 파악.

제안 방법

• 세 가지 기본 분류기 각각이 다른 텍스트 표현 공간에서 학습된 소프트 보팅 앙상블를 사용한다.
• 첫 번째 분류기는 tf-idf 가중치가 적용된 bag-of-words 모델과 선형 SVM을 사용하여 분류한다.
• 두 번째 분류기는 트윗을 사전에 학습된 Word2Vec 임베딩(300D)의 평균값으로 표현하고, 선형 SVM을 적용한다.
• 세 번째 분류기는 tf-idf에서 유도된 단어 가중치를 적용한 가중 평균 임베딩을 사용하며, 로지스틱 회귀 분류기를 적용한다.
• 최종 예측은 세 분류기의 예측 확률을 합산하여 총합이 가장 높은 클래스를 선택함으로써 결정된다.
• 전처리 과정으로는 토큰화(URL, 멘션, 숫자, 이모티콘 처리), 소문자 변환, 불용어,标 punctuations, 해시태그, 사용자명 제거가 포함된다.

실험 결과

연구 질문

• RQ1 간단하고 복잡하지 않은 텍스트 표현 방식을 사용하는 다중 시각 앙상블가 트위터 감성 분류에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 bag-of-words, 원시 워드 임베딩, tf-idf 가중치가 부여된 임베딩 등의 다양한 텍스트 표현 전략이 감성 분류 성능에 미치는 영향는 어떠한가?
• RQ3 서로 다른 특징 공간에서 학습된 다수의 분류기를 조합하는 것이, 비공식적인 소셜 미디어 텍스트에서 단일 모델 접근법에 비해 일반화 성능을 향상시키는가?
• RQ4 어순과 비공식어(예: 약어, 대체어 등)가 임베딩 기반 모델의 성능에 얼마나 큰 제약을 가하는가?
• RQ5 표준 분류기와 최소한의 전처리 파이프라인은 자원이 제한되고 노이즈가 많은 트위터 데이터에서 더 복잡한 모델을 능가할 수 있는가?

주요 결과

• 시스템은 SemEval-2017 Twitter2017-test 데이터셋에서 F1 스코어 0.595를 기록하여 총 38개 시스템 중 18위를 기록하였다.
• 재현율 스코어는 0.612로, 경쟁 대회에서 20위를 차지하여 긍정 감성 인스턴스를 식별하는 데 상대적으로 뛰어난 성능를 보였다.
• SMS2013 및 Tw2014-sarcasm 데이터셋에서는 성능이 열등했으며, 이는 어휘 차이와 어순을 모델링하지 못해 사자어를 포착하지 못하기 때문일 것이다.
• LiveJournal2014에서는 성능이 안정적으로 유지되어, 데이터가 트위터와 스타일과 구조가 유사할 경우 도메인 이동에 대해 강건함을 보였다.
• 어순과 否정이 감성에 큰 영향을 주는 문장, 예를 들어 "It isn’t horrible, it’s perfect"와 같은 비논리적 진술에서는 성능이 떨어졌다.
• 비공식어가 많거나 약어가 풍부한 데이터셋에서는 사전에 학습된 Word2Vec 임베딩를 미세조정하거나 정규화하지 않아 성능에 제한을 받았다.