[논문 리뷰] Yelp Dataset Challenge: Review Rating Prediction

Nabiha Asghar|arXiv (Cornell University)|2016. 05. 17.

Sentiment Analysis and Opinion Mining참고 문헌 10인용 수 35

한 줄 요약

이 논문은 네 가지 특징 추출 방법(일반어, 이항어, 삼항어, LSI)과 네 가지 기계 학습 알고리즘(로지스틱 회귀, 나이브 베이즈, 퍼셉트론, 선형 서포트 벡터 분류기)을 조합한 16개의 모델을 사용하여 자유 텍스트 리뷰에서 1~5점의 예피 리뷰 평점을 다중 분류로 예측하는 방법을 제안한다. 가장 우수한 성능을 보인 모델은 상위 10,000개의 일반어 및 이항어 특징에 대한 로지스틱 회귀이며, 테스트 세트에서 F1 스코어 0.92를 기록하여 교차 검증에서 모든 모델을 앞서며 승리한다.

ABSTRACT

Review websites, such as TripAdvisor and Yelp, allow users to post online reviews for various businesses, products and services, and have been recently shown to have a significant influence on consumer shopping behaviour. An online review typically consists of free-form text and a star rating out of 5. The problem of predicting a user's star rating for a product, given the user's text review for that product, is called Review Rating Prediction and has lately become a popular, albeit hard, problem in machine learning. In this paper, we treat Review Rating Prediction as a multi-class classification problem, and build sixteen different prediction models by combining four feature extraction methods, (i) unigrams, (ii) bigrams, (iii) trigrams and (iv) Latent Semantic Indexing, with four machine learning algorithms, (i) logistic regression, (ii) Naive Bayes classification, (iii) perceptrons, and (iv) linear Support Vector Classification. We analyse the performance of each of these sixteen models to come up with the best model for predicting the ratings from reviews. We use the dataset provided by Yelp for training and testing the models.

연구 동기 및 목표

• 자유 텍스트 리뷰에서 별점 평점을 예측하는 문제에 도전하며, 이는 정서 분석 및 추천 시스템 분야의 핵심 과제이다.
• 평가 예측을 위한 다양한 특징 추출 및 기계 학습 조합의 효과성을 평가한다.
• 실제 예피 데이터에서 정확하고 일반화 가능한 리뷰 평점 예측을 위한 최적의 모델 구성 방법을 규명한다.
• 특성 평점이 없는 시스템을 위한 향후 연구를 위한 기준과 프레임워크를 제공한다.

제안 방법

• 리뷰 평점 예측을 별점이 클래스 레이블인 5개 클래스 분류 문제로 간주한다.
• 네 가지 특징 추출 기법을 적용한다: 일반어, 이항어, 삼항어, 잠재의미색인식(Latent Semantic Indexing, LSI)을 텍스트 리뷰에 적용한다.
• 각 특징 추출 방법을 네 가지 지도 학습 알고리즘(로지스틱 회귀, 나이브 베이즈, 퍼셉트론, 선형 서포트 벡터 분류기)과 조합한다.
• 모델 평가 및 하이퍼파rameter 튜닝을 위해 k-폴드 교차 검증(3-폴드)을 사용한다.
• 차원 감소 및 계산 효율성 향상을 위해 각 방법당 상위 10,000개의 특징을 선택한다.
• F1 스코어, 정밀도, 재현율, 혼동 행렬을 사용하여 모델을 평가하며, 테스트 세트 성능을 검증 결과와 비교한다.

실험 결과

연구 질문

• RQ1 특징 추출과 기계 학습 알고리즘의 어떤 조합이 예피 리뷰 평점 예측 정확도를 가장 높이는가?
• RQ2 n-gram 기반과 LSI 기반의 특징 표현 방식은 텍스트에서 정서 및 평점 관련 신호를 얼마나 잘 포착하는가?
• RQ3 교차 검증 결과에 비해 테스트 세트에서 성능이 얼마나 떨어지는가? 이는 과적합의 가능성을 시사하는가?
• RQ4 별점 평점의 본질적인 순서(1점에서 5점)를 고려한 순서형/순서 기반 로지스틱 회귀 모델이 성능 향상에 기여하는가?
• RQ5 비선형 모델이나 고급 특징 공학 기법(예: 품사 태깅, 토픽 모델링)은 이 작업에서 선형 모델에 비해 어떻게 비교되는가?

주요 결과

• 상위 10,000개의 일반어 및 이항어 특징에 대해 훈련된 로지스틱 회귀 모델이 테스트 세트에서 F1 스코어 0.92를 기록했으며, 교차 검증에서는 0.95를 기록하여 가장 높은 성능을 보였다.
• 모델의 테스트 성능(F1: 0.92)은 검증 성능(F1: 0.95)보다 略로 낮아 약간의 과적합이 있음을 시사한다.
• 선형 모델, 특히 로지스틱 회귀와 선형 서포트 벡터 분류기는 모든 특징 세트에서 나이브 베이즈와 퍼셉트론을 앞서는 성능을 보였다.
• LSI 기반 특징은 n-gram 방법에 비해 뛰어난 성능을 내지 못했으며, LSI 특징을 사용한 모델은 낮은 F1 스코어를 기록했다.
• 가장 뛰어난 성능을 보인 모델은 강건하고 일반화 능력이 뛰어나, 다양한 폴드에서 일관된 성능을 보였다.
• 정규화, 비선형 모델, 고급 특징 공학 기법(예: 품사 태깅, 토픽 모델링) 등의 향후 개선 조치는 성능 향상에 기여할 것으로 기대된다.