[논문 리뷰] Efficient Twitter Sentiment Classification using Subjective Distant Supervision

Tapan Sahni, Chinmay Chandak외 2명|arXiv (Cornell University)|2017. 01. 11.

Sentiment Analysis and Opinion Mining참고 문헌 10인용 수 6

한 줄 요약

이 논문은 주관성 기반 필터링 기법과 효과적 단어 점수(EFWS) 히우리스틱을 결합하여 트위터 감성 분류의 속도를 높이고 정확도를 향상시킨다. 높은 주관성을 지닌 트윗만 선택하고 빈도 높은 단어의 극성 점수를 활용함으로써, 기준 데이터의 크기의 절반인 10만 건의 트윗 데이터셋에서 약 85%의 정확도를 달성하며, 학습 속도는 최대 2배 빨라지고 최신 기술 모델보다도 빠르고 정밀도가 높다.

ABSTRACT

As microblogging services like Twitter are becoming more and more influential in today's globalised world, its facets like sentiment analysis are being extensively studied. We are no longer constrained by our own opinion. Others opinions and sentiments play a huge role in shaping our perspective. In this paper, we build on previous works on Twitter sentiment analysis using Distant Supervision. The existing approach requires huge computation resource for analysing large number of tweets. In this paper, we propose techniques to speed up the computation process for sentiment analysis. We use tweet subjectivity to select the right training samples. We also introduce the concept of EFWS (Effective Word Score) of a tweet that is derived from polarity scores of frequently used words, which is an additional heuristic that can be used to speed up the sentiment classification with standard machine learning algorithms. We performed our experiments using 1.6 million tweets. Experimental evaluations show that our proposed technique is more efficient and has higher accuracy compared to previously proposed methods. We achieve overall accuracies of around 80% (EFWS heuristic gives an accuracy around 85%) on a training dataset of 100K tweets, which is half the size of the dataset used for the baseline model. The accuracy of our proposed model is 2-3% higher than the baseline model, and the model effectively trains at twice the speed of the baseline model.

연구 동기 및 목표

• 대규모 트위터 감성 모델을 학습할 때 발생하는 높은 계산 비용을 해결하기 위해.
• 계산 자원이 제한된 상황에서 분류 정확도를 향상시키기 위해.
• 모델 성능을 희생시키지 않고 학습 시간을 단축하기 위해.
• 데이터 샘플링에서 감성 관련성의 대체 지표로 트윗의 주관성을 탐색하기 위해.
• 일반 단어의 극성 점수를 활용해 정확도를 향상시키는 새로운 EFWS 히우리스틱을 도입하기 위해.

제안 방법

• TextBlob과 OpinionFinder 도구에서 유도된 주관성 임계값을 사용해 학습 트윗을 필터링하여 주로 높은 주관성을 지닌 콘텐츠만 유지한다.
• 주관성 수준을 히우리스틱으로 활용하여 감성 표현이 더 강한 트윗을 우선순위에 올려 노이즈를 줄이고 특징의 관련성을 향상시킨다.
• 자주 사용되는 단어의 극성 점수를 기반으로 효과적 단어 점수(EFWS)를 계산하여, 빠르고 규칙 기반의 감성 분류기로 활용한다.
• 기본적인 기계 학습 모델(예: 나이브 베이즈, 서포트 벡터 머신, 로지스틱 회귀)에 적용하기 전에 EFWS를 사전 필터링 단계로 통합한다.
• 다양한 트윗 표현에 걸쳐 강건성과 일반화 능력을 향상시키기 위해 광범위한 전처리를 적용한다.
• 160만 건의 트윗을 사용한 기준 원거리 감시 모델과 비교하여 성능과 학습 시간을 평가하며, 학습용 10만 건과 테스트용 5천 건의 트윗을 사용한다.

실험 결과

연구 질문

• RQ1 주관성 기반으로 트윗을 필터링하면 학습 시간을 단축시키면서도 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 EFWS 히우리스틱의 포함 여부가 감성 분류 모델의 총 정확도에 어떤 영향을 미치는가?
• RQ3 데이터 크기 감소와 모델 성능 간의 균형을 고려할 때 최적의 주관성 임계값은 무엇인가?
• RQ4 더 작은 주관성 필터링된 데이터셋이 더 큰 비필터링 기준 모델보다 속도와 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 주관성 필터링을 통해 감성 레이블이 부여된 데이터의 노이즈를 어느 정도 줄일 수 있으며, 동시에 필수적인 감성 신호를 손실하지 않을 수 있는가?

주요 결과

• 제안된 방법은 10만 건의 트윗 학습 세트에서 약 80%의 총 정확도를 달성하였으며, 이는 20만 건의 트윗으로 학습된 기준 모델보다 2~3% 높은 성능이다.
• EFWS 히우리스틱을 적용한 결과, 동일한 10만 건의 트윗 데이터셋에서 약 85%의 정확도를 기록하여 기준 모델을 크게 능가한다.
• 기준 모델 대비 학습 시간이 약 50% 감소하였으며, 동일한 하드웨어에서 학습 속도가 두 배로 빨라졌다.
• 주관성 임계값이 0.8일 때, 유니그램을 사용한 로지스틱 회귀 모델이 81.77%의 정확도를 기록하여 고임계값 필터링의 효과를 입증한다.
• 학습 시간 단축 효과는 유니그램 특징에서 가장 두드러지게 나타났지만, 유니그램 + 바이그램 특징을 사용할 때도 여전히 속도 우위를 유지한다.
• 결과는 주관성 필터링이 계산량을 줄일 뿐 아니라, 더 감성 관련성이 높고 노이즈가 적은 데이터에 집중함으로써 모델 성능을 향상시킨다는 것을 시사한다.