[논문 리뷰] Thumbs up? Sentiment Classification using Machine Learning Techniques

Bo Pang, Lillian Lee외 1명|ArXiv.org|2002. 05. 28.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 2,209

한 줄 요약

이 논문은 세 가지 표준 감독 학습 방법(Naive Bayes, Maximum Entropy, SVM)을 영화 리뷰의 감정 분류에 대해 평가하고 성능에 영향을 주는 요인을 분석하며 이 방법들이 베이스라인을 상회하지만 주제 기반 분류보다 성능이 떨어진다는 것을 보여준다.

ABSTRACT

We consider the problem of classifying documents not by topic, but by overall sentiment, e.g., determining whether a review is positive or negative. Using movie reviews as data, we find that standard machine learning techniques definitively outperform human-produced baselines. However, the three machine learning methods we employed (Naive Bayes, maximum entropy classification, and support vector machines) do not perform as well on sentiment classification as on traditional topic-based categorization. We conclude by examining factors that make the sentiment classification problem more challenging.

연구 동기 및 목표

• 감정 분류에 대한 표준 기계 학습 방법의 효과를 인간 기반 베이스라인과 비교 평가한다.
• 특징 선택(유니그램, 바이그램, 존재 여부 대 빈도, 부정어 처리)이 성능에 어떤 영향을 미치는지 평가한다.
• 감정 분류를 주제 기반 분류보다 더 어렵게 만드는 도전과제를 이해한다.
• 말뭉치 기반 베이스라인과 감정 분석에 영향을 주는 언어 패턴에 대한 통찰을 제공한다.

제안 방법

• 각 문서를 유니그램과 바이그램 등 미리 정의된 특징들로 구성된 특징 벡터로 표현한다.
• 세 가지 교차검증(3-폴드 교차검증)으로 라벨링된 영화 리뷰에서 Naive Bayes, Maximum Entropy, SVM 분류기를 학습한다.
• 성능에 대한 특징 빈도 정보와 존재 정보의 영향 탐구.
• 부정 부호 태깅을 도입하여 맥락적 감정 변화 포착을 시도한다.
• 정확도에 미치는 추가 특징(POS 태그, 형용사, 위치)의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 영화 리뷰의 감정 분류에서 표준 감독 학습 방법이 높은 정확도를 달성할 수 있는가?
• RQ2 유니그램 대 바이그램, 존재 여부 대 빈도 정보 등 특징 선택이 분류 성능에 어떤 영향을 주는가?
• RQ3 부정 태깅이나 POS 정보를 도입하면 감정 감지가 향상되는가?
• RQ4 감정 분류가 주제 분류처럼 쉬운가, 아니면 담화 및 맥락 정보를 다루기 위해 추가 기술이 필요한가?

주요 결과

• 세 가지 학습기(NB, MaxEnt, SVM) 모두 감정 데이터에서 무작위 베이스라인과 인간의 유니그램 기준선을 능가한다.
• 특징 존재(binary)을 사용하는 것이 NB와 SVM에서 특징 빈도 사용보다 일반적으로 더 높은 정확도를 낳는다.
• 바이그램은 유니그램 존재 정보 이상으로 성능을 개선하지 못하며 단독으로 사용할 경우 정확도를 떨어뜨릴 수 있다.
• 부정 태깅은 NB에 대해서는 약간의 이득을 주지만 모델 간에 일관되지는 않다.
• 형용사만으로는 정보가 유니그램에 비해 약하며, 최상위 유니그램은 더 넓은 특징 세트에 비해 비등하다.
• 전반적으로 감정 분류는 주제 기반 분류보다 여전히 더 어렵고, 최적의 결과도 높은 정확도의 주제 모델들에 비해 뒤처진다.