[논문 리뷰] Enhanced Twitter Sentiment Classification Using Contextual Information

Soroush Vosoughi, Helen Zhou외 1명|DSpace@MIT (Massachusetts Institute of Technology)|2016. 05. 17.

Sentiment Analysis and Opinion Mining참고 문헌 13인용 수 12

한 줄 요약

이 논문은 표준 n-gram 특징과 함께 시간, 위치, 작성자, 요일과 같은 맥락적 메타데이터를 통합하여 텍스트 분류 정확도를 향상시키는 베이지안 감성 분류기를 제안한다. 수백만 개의 지리적 태그가 부여된 트윗을 원격 감독을 통해 자동으로 레이블링함으로써 모델은 86.2%의 정확도를 달성하였으며, 기준선 n-gram 모델 대비 10% 상대적 향상도를 보였다. 이는 맥락 정보가 자원이 부족한, 짧은 텍스트 감성 분석에서 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

The rise in popularity and ubiquity of Twitter has made sentiment analysis of tweets an important and well-covered area of research. However, the 140 character limit imposed on tweets makes it hard to use standard linguistic methods for sentiment classification. On the other hand, what tweets lack in structure they make up with sheer volume and rich metadata. This metadata includes geolocation, temporal and author information. We hypothesize that sentiment is dependent on all these contextual factors. Different locations, times and authors have different emotional valences. In this paper, we explored this hypothesis by utilizing distant supervision to collect millions of labelled tweets from different locations, times and authors. We used this data to analyse the variation of tweet sentiments across different authors, times and locations. Once we explored and understood the relationship between these variables and sentiment, we used a Bayesian approach to combine these variables with more standard linguistic features such as n-grams to create a Twitter sentiment classifier. This combined classifier outperforms the purely linguistic classifier, showing that integrating the rich contextual information available on Twitter into sentiment classification is a promising direction of research.

연구 동기 및 목표

• 표준 언어학적 접근에서 자주 간과되는 지리정보, 시간, 작성자 신원과 같은 맥락적 메타데이터를 통합하여 트위터 감성 분류를 향상시키는 것.
• 트위터에서 공간적, 시간적, 작성자 기반 맥락에 따라 감성이 체계적으로 달라지는가를 조사하는 것.
• 원격 감독을 활용하여 다양한 맥락 카테고리에서 사전 감성 확률을 추정하는 확장 가능한 데이터 기반 방법을 개발하는 것.
• 베이지안 추론을 통해 전통적인 n-gram 모델과 맥락적 사전 확률을 통합하여 분류의 강건성과 정확도를 향상시키는 것.
• 특히 자원이 부족한 환경에서 상태 기반의 원격 감독 분류기와 비교하여, 맥락 기반 모델의 성능을 평가하는 것.

제안 방법

• 2012~2014년 동안의 수백만 개의 지리적 태그가 부여되고 타임스탬프 및 작성자 태그가 부여된 트윗에 원격 감독을 적용하여 외부 감성 어휘집을 활용해 감성 레이블을 자동으로 생성하였다.
• 레이블이 부여된 트윗의 집계된 감성 점수를 이용해 각 맥락 카테고리(주, 시간대, 요일, 월, 작성자)에 대한 사전 감성 확률을 추정하였다.
• 이 맥락 특화 사전 확률과 표준 바이그램 언어 모델을 조합한 하이브리드 감성 분류기를 위한 베이지안 프레임워크를 구축하였다.
• 성능을 훈련 및 평가하기 위해 5개의 교차 검증 폴드를 사용하였으며, 폴드 간 데이터 泄漏가 발생하지 않도록 주의하였다.
• 시계열적 변화(예: 계절적 또는 사회경제적 변화)로 인한 공공 감성의 변화를 반영하기 위해 정기적으로 감성 사전 확률을 재계산하였다.
• 최종 분류기는 모든 맥락 변수(주, 시간대, 요일, 월, 작성자)를 하나의 모델에 통합하여 예측 능력을 극대화하였다.

실험 결과

연구 질문

• RQ1 트위터에서 감성 표현이 지리적 위치, 시간대, 요일, 월, 개별 작성자 간에 체계적으로 달라지는가?
• RQ2 대규모 자동 레이블링 데이터에서 유도된 맥락 특화 감성 사전 확률이 표준 n-gram 감성 분류기의 성능을 향상시킬 수 있는가?
• RQ3 공간적, 시간적, 작성자 기반 메타데이터를 통합할 경우, 짧고 노이즈가 많은 트위터 텍스트의 감성 분류 정확도는 어느 정도 향상되는가?
• RQ4 맥락 인식 베이지안 분류기의 성능은 순수 언어학적 모델과 기존의 원격 감독 기반 접근 방식과 비교하여 어떻게 되는가?
• RQ5 시간, 작성자, 기타 가용 메타데이터에 의존할 경우, 지리적 태그가 없는 트윗에도 모델이 일반화 가능한가?

주요 결과

• 맥락 기반 분류기는 86.2%의 정확도를 기록하였으며, 이는 기준선 바이그램 모델 대비 10% 상대적 향상과 8% 절대적 향상에 해당한다.
• 주 기반 사전 확률이 가장 큰 기여를 하였으며, 단독으로 사용했을 때 84.9%의 정확도를 달성하여 지리적 위치가 감성에 강력한 영향을 미친다는 점을 시사한다.
• 시간대가 가장 예측력 있는 시간적 특징이었으며, 독립적으로 사용했을 때 정확도가 82.1%로 향상되었다.
• 작성자 기반 사전 확률은 82.9%의 정확도를 기록하여, 개인 사용자가 시간이 지나도 안정적인 감성 기저를 유지한다는 점을 시사한다.
• 지역 정보 없이도 모델은 84.3%의 정확도를 달성하여, 시간, 작성자, 시간적 메타데이터만으로도 뛰어난 성능을 보임을 입증하였다.
• 전체 맥락 모델은 기존의 최고 수준의 원격 감독 기반 분류기보다 절대 정확도에서 3% 이상 높은 성능을 기록하였다.