[논문 리뷰] Predicting the Sentiment Polarity and Rating of Yelp Reviews

Andrew Elkouri|arXiv (Cornell University)|2015. 12. 20.

Sentiment Analysis and Opinion Mining참고 문헌 1인용 수 3

한 줄 요약

이 논문은 텍스트 기반 분류 시스템을 제안하여 Yelp 리뷰의 감성 극성(긍정/부정)과 5성급 평점 예측을 위해 나이브 베이즈, 서포트 벡터 머신, 로지스틱 회귀를 사용한다. tf-idf 특성 가중치를 사용한 리뷰 텍스트만을 활용하여, 로지스틱 회귀는 감성 극성 분류에서 92.90%의 정확도와 5성급 분류에서 63.92%의 정확도를 기록하여 다른 모델들을 압도적으로 앞서며, 제한된 특성으로도 뛰어난 성능을 보였다.

ABSTRACT

Online reviews of businesses have become increasingly important in recent years, as customers and even competitors use them to judge the quality of a business. Yelp is one of the most popular websites for users to write such reviews, and it would be useful for them to be able to predict the sentiment or even the star rating of a review. In this paper, we develop two classifiers to perform positive/negative classification and 5-star classification. We use Naive Bayes, Support Vector Machines, and Logistic Regression as models, and achieved the best accuracy with Logistic Regression: 92.90% for positive/negative classification, and 63.92% for 5-star classification. These results demonstrate the quality of the Logistic Regression model using only the text of the review, yet there is a promising opportunity for improvement with more data, more features, and perhaps different models.

연구 동기 및 목표

• 리뷰 텍스트 내용만을 사용하여 Yelp 리뷰의 감성 극성(긍정 또는 부정)을 예측하기 위해.
• 텍스트 기반 특성에만 기반하여 Yelp 리뷰의 5성급 평점을 예측하기 위해.
• 감성 극성 분류 및 5성급 분류 작업에서 나이브 베이즈, 서포트 벡터 머신, 로지스틱 회귀의 성능을 비교하기 위해.
• 데이터 크기와 특성 공학의 분류 정확도에 미치는 영향을 평가하기 위해.
• 추가적인 특성 또는 고급 모델을 통해 5성급 평점 예측 정확도를 향상시킬 수 있는 기회를 식별하기 위해.

제안 방법

• scikit-learn의 CountVectorizer를 사용하여 입력 텍스트를 정제하고, 정지어를 제거하며, 두 개 이상의 영숫자 문자를 포함한 단어로 토큰화하는 텍스트 전처리.
• 백오프워즈 표현 방식을 통해 특성 벡터를 구성하며, 각 고유 단어를 정수 ID로 매핑하고 카운트를 희소 행렬에 저장.
• 단어 빈도와 역문헌 빈도를 기반으로 단어의 가중치를 조정하기 위해 tf-idf 변환을 적용하여 장문의 리뷰와 일반 단어에 의한 편향을 줄임.
• 감성 극성 분류: 3 이상의 평점은 '긍정'으로, 3 미만의 평점은 '부정'으로 매핑.
• 5성급 분류: 원본 별점(1–5)을 타겟 레이블로 사용.
• 학습에 데이터의 70%를 사용하고 나머지 30%를 테스트에 사용하며, scikit-learn을 이용한 나이브 베이즈, SVM, 로지스틱 회귀 모델을 학습.

실험 결과

연구 질문

• RQ1 텍스트 전용 분류기는 Yelp 리뷰의 감성 극성을 정확하게 예측할 수 있는가?
• RQ2 리뷰 텍스트만을 사용하여 Yelp 리뷰의 정확한 5성급 평점을 얼마나 잘 예측할 수 있는가?
• RQ3 감성 극성 분류 및 5성급 분류 작업에서 나이브 베이즈, SVM, 로지스틱 회귀 중 어떤 머신러닝 모델이 가장 우수한 성능을 보이는가?
• RQ4 학습 데이터 크기가 증가함에 따라 분류기 성능에 어떤 영향을 미치는가?
• RQ5 추가적인 특성 또는 모델 유형을 통해 5성급 평점 예측 정확도를 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• 로지스틱 회귀는 감성 극성 분류에서 92.90%의 최고 정확도를 기록하여 나이브 베이즈(88.54%)와 SVM(88.54%)를 크게 앞섰다.
• 5성급 분류에서는 로지스틱 회귀가 63.92%의 정확도를 기록하여, 가우스 판별 분석을 사용한 Carbon 등의 연구에서 보고된 최대 46.09%보다 훨씬 높은 성능을 보였다.
• 감성 극성 분류에서 나이브 베이즈는 SVM보다 약 4个百分点 높은 성능을 보였으며, 예상과는 달리 우수한 성능을 보였다.
• 로지스틱 회귀의 성능은 증가하는 학습 데이터 크기와 함께 향상되어 데이터 크기와의 정적 상관관계를 보였다.
• 비록 텍스트 전용 특성으로도 뛰어난 성능을 보였지만, 불일치하는 평점 행동과 텍스트적 지원의 부족으로 인해 5성급 분류는 여전히 도전 과제로 남아 있다.
• 신경망과 같은 고급 모델이나 리뷰 투표, 사업체 속성과 같은 추가적인 특성을 통합함으로써 향후 개선이 가능할 것이다.