[논문 리뷰] Sentiment Analysis: Predicting Yelp Scores

Bhanu Prakash Reddy Guda, Mashrin Srivastava외 1명|arXiv (Cornell University)|2022. 01. 20.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 레스토랑 리뷰의 텍스트와 메타특성 정보를 융합하여 감성 분류 성능을 햖थ한 새로운 다중 작업 통합 BERT 모델을 제안한다. 이는 기존의 베이스라인 대비 뛰어난 성능을 달성하며, 주목사용 메커니즘과 감성 점수를 통한 공동 학습을 통해 정확도와 해석 가능성 향상을 이끌어내며, 리뷰 수가 다양한 레스토랑 간 균형 잡힌 성능 유지를 유지한다.

ABSTRACT

In this work, we predict the sentiment of restaurant reviews based on a subset of the Yelp Open Dataset. We utilize the meta features and text available in the dataset and evaluate several machine learning and state-of-the-art deep learning approaches for the prediction task. Through several qualitative experiments, we show the success of the deep models with attention mechanism in learning a balanced model for reviews across different restaurants. Finally, we propose a novel Multi-tasked joint BERT model that improves the overall classification performance.

연구 동기 및 목표

• 텍스트 및 메타특성을 모두 활용하여 Yelp 레스토랑 리뷰에 대한 강력한 감성 예측 모델을 개발한다.
• 특히 주목사용 기반 BERT와 같은 딥러닝 모델이 다양한 레스토랑 리뷰에서 미묘한 감성 패턴을 어떻게 포착하는지 평가한다.
• 감성 점수를 통한 공동 학습이 분류 성능 향상과 모델 일반화 능력 향상에 기여하는지 조사한다.
• 주목사용 시각화를 통해 모델의 해석 가능성을 분석하고 암묵적인 감성 신호와 관련된 실패 케이스를 규명한다.
• 낮은 또는 높은 리뷰 수를 가진 레스토랑 간 성능이 균형을 이루도록 보장한다.

제안 방법

• 모델는 리뷰 텍스트와 메타특성을 입력으로 받아 감성 분류를 수행하는 다중 작업 통합 BERT 아키텍처를 사용한다.
• 텍스트 내에서 감성 예측에 기여하는 핵심 단어를 강조하기 위해 주목사용 메커니즘을 활용하여 모델의 해석 가능성을 향상시킨다.
• 두 가지 목적을 동시에 최적화하여 공동 학습을 수행한다: 별점 예측(이진: 1~3점 vs. 4~5점) 및 AFINN 기반 감성 점수 예측.
• 과적합을 방지하기 위해 이진 단어 발생 특성은 제거하고 감성과 관련성이 있는 특성만 선택한다.
• 데이터셋은 70% 훈련, 15% 검증, 15% 테스트로 분할되며, 리뷰어 이름이나 문자 수와 같은 관련 없는 특성은 사전 처리 과정에서 제거된다.
• 과적합 방지를 위해 조기 정지 기법을 사용하고, 정확도, 손실 곡선, 혼동 행렬을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 메타특성과 텍스트를 함께 모델링할 경우, 텍스트만 사용하는 경우에 비해 감성 예측 성능이 어떻게 향상되는가?
• RQ2 왜 5점 분류에서는 이진 감성 분류에 비해 성능이 열 劣하나, 그 원인은 무엇인가?
• RQ3 주목사용 메커니즘이 감성 관련 단어를 효과적으로 강조할 수 있으며, 이는 모델의 해석 가능성 향상에 기여하는가?
• RQ4 리뷰 수가 많은 레스토랑에 대해 모델이 편향을 보이거나, 저·고 리뷰 수 레스토랑 간 성능이 균형을 이루는가?
• RQ5 암묵적인 감성 신호나 외부 지식 의존성이 있는 리뷰에서 어떤 유형의 실패 케이스가 발생하는가?

주요 결과

• 다중 작업 통합 BERT 모델은 이진 및 5점 감성 분류 모두에서 모든 기준 모델을 능가하며, Yelp 데이터셋에서 최신 기술 수준의 성능을 보였다.
• 주목사용 메커니즘이 'perfect'(완벽한) 또는 'bad'(나쁜)와 같은 감성 관련 단어를 효과적으로 강조하여, 모델의 해석 가능성과 인간의 판단과의 일치를 확인했다.
• 높은 리뷰 수를 가진 레스토랑에 대해 특별한 편향을 보이지 않으며, 모든 레스토랑에서 균형 잡힌 성능 유지했다.
• 5점 분류에서의 혼동은 주로 인접한 클래스 간(예: 3점 vs. 4점) 발생하여 미묘한 감성 차이를 구분하는 데 어려움을 겪는다는 점을 시사했다.
• 요리 비유 등 암묵적인 감성 신호에 의존하는 리뷰에서는 실패 케이스가 발생하며, 이는 지식 그래프 통합의 필요성을 시사한다.
• 훈련 손실은 안정적으로 감소하고 검증 손실은 안정화되어 조기 정지 기법을 통해 과적합이 효과적으로 방지되었음을 확인했다.