[논문 리뷰] Sentiment Analysis of Yelp Reviews: A Comparison of Techniques and Models

Siqi Liu|arXiv (Cornell University)|2020. 04. 15.

Topic Modeling참고 문헌 12인용 수 16

한 줄 요약

이 연구는 토론토의 5,000개의 레스토랑에 대한 362,554개의 Yelp 리뷰에서 감성 분석을 위한 텍스트 전처리 및 기계학습/딥러닝 모델을 평가한다. 매크로 F1 스코어를 지표로 사용하여, 사전 훈련된 임베딩과 시퀀스 길이 제한을 적용함에도 불구하고, BERT나 LSTM과 같은 복잡한 모델보다 단순한 모델인 로지스틱 회귀와 SVM이 더 높은 성능을 보인다.

ABSTRACT

We use over 350,000 Yelp reviews on 5,000 restaurants to perform an ablation study on text preprocessing techniques. We also compare the effectiveness of several machine learning and deep learning models on predicting user sentiment (negative, neutral, or positive). For machine learning models, we find that using binary bag-of-word representation, adding bi-grams, imposing minimum frequency constraints and normalizing texts have positive effects on model performance. For deep learning models, we find that using pre-trained word embeddings and capping maximum length often boost model performance. Finally, using macro F1 score as our comparison metric, we find simpler models such as Logistic Regression and Support Vector Machine to be more effective at predicting sentiments than more complex models such as Gradient Boosting, LSTM and BERT.

연구 동기 및 목표

• 감성 분석을 위한 효과적인 텍스트 전처리 및 모델 선택 전략을 선택하는 데 도움을 주기 위해.
• 정규화, 불용어 제거, n-gram 추가와 같은 다양한 텍스트 전처리 기법이 모델 성능에 미치는 영향을 평가하기 위해.
• 기존 기계학습 모델(예: 로지스틱 회귀, SVM)과 딥러닝 모델(예: LSTM, BERT)이 Yelp 리뷰에서 감성 예측에 얼마나 효과적인지 비교하기 위해.
• 다중 클래스 감성 분류에서 모델 복잡성, 성능, 해석 가능성 간의 상호 상충 관계를 평가하기 위해.
• 딥러닝 모델의 하이퍼파라미터 선택, 예를 들어 시퀀스 길이 제한과 어휘 크기 등에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 다항 베이지안 나이브 베이즈 기준 모델을 사용하여 텍스트 전처리 기법의 영향을 분석하기 위한 아블레이션 연구를 수행한다.
• 전처리된 Yelp 리뷰를 기반으로 로지스틱 회귀, SVM, 그래디언트 부스팅, LSTM, BERT 등의 여러 모델을 훈련하고 비교한다.
• 기계학습 모델 성능 향상을 위해 이진 백오프워즈와 함께 이중어(바이그램) 추가, 최소 빈도 제약 조건, 텍스트 정규화를 적용한다.
• 딥러닝 모델의 일반화 성능 향상을 위해 사전 훈련된 GloVe 임베딩을 사용하고, 최대 시퀀스 길이를 200 토큰으로 제한한다.
• 과적합을 줄이기 위해 LSTM 아키텍처에 조기 정지(early stopping)와 드롭아웃 레이어를 적용한다.
• 클래스 불균형을 다루기 위해 매크로 F1 스코어를 사용하여 모든 모델을 평가하며, 이는 각 클래스의 F1 스코어를 등중 평균한 것이다.

실험 결과

연구 질문

• RQ1 정규화, 불용어 제거 등의 다양한 텍스트 전처리 기법이 감성 분류 성능에 어떤 영향을 미치는가?
• RQ2 로지스틱 회귀, SVM, 그래디언트 부스팅 중 어떤 기계학습 모델이 Yelp 리뷰 감성 분류에서 가장 우수한 성능을 보이는가?
• RQ3 LSTM과 BERT와 같은 딥러닝 모델은 기존 모델 대비 매크로 F1 스코어와 훈련 효율성 측면에서 어떻게 비교되는가?
• RQ4 시퀀스 길이 제한, 어휘 크기 등의 하이퍼파라미터 선택이 딥러닝 모델 성능 향상에 가장 크게 기여하는가?
• RQ5 모델 복잡성과 성능 간 상관관계는 있는가, 아니면 더 단순하고 해석 가능한 모델이 복잡한 모델보다 뛰어난가?

주요 결과

• 로지스틱 회귀와 서포트 벡터 머신(SVM)과 같은 단순한 모델이 그래디언트 부스팅, LSTM, BERT와 같은 더 복잡한 모델보다 높은 매크로 F1 스코어를 기록했다.
• 텍스트 정규화, 최소 빈도 제약 조건, 바이그램 특징 추가가 기존 기계학습 모델의 성능 향상에 기여했다.
• 딥러닝 모델의 경우, 사전 훈련된 GloVe 임베딩 사용과 시퀀스 길이를 200 토큰으로 제한함으로써 일반화 성능 향상과 과적합 감소가 뚜렷하게 관찰되었다.
• 어휘 크기를 5,000단어로 제한하면 사전 훈련된 임베딩을 사용할 경우 성능 향상이 있었지만, 더 큰 어휘 크기는 악영향을 미쳤다.
• LSTM 모델은 긍정 감성 예측에서 높은 오류율(34%가 중립으로 잘못 분류됨)을 보였으며, 주로 리뷰 길이가 짧고 시퀀스 길이 제약 조건으로 인해 발생했다.
• 더 높은 계산 비용을 유발하지만, BERT와 LSTM 모델은 매크로 F1 스코어 측면에서 단순한 모델을 능가하지 못했고, 그 해석 가능성 부족으로 인해 분석을 위해 LIME과 같은 추가 도구가 필요하다.