[논문 리뷰] ASAP: A Chinese Review Dataset Towards Aspect Category Sentiment Analysis and Rating Prediction

Jiahao Bu, Lei Ren외 5명|arXiv (Cornell University)|2021. 03. 11.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 7

한 줄 요약

이 논문은 46,730건의 수작업으로 주석 처리된 리뷰를 포함한 대규모 중국어 레스토랑 리뷰 데이터셋인 ASAP을 소개한다. 이 데이터셋은 18개의 요소 카테고리와 5점 만점 평점으로 구성되어 있으며, 요소 카테고리 감성 분석(ACSA)과 평점 예측(RP)을 위한 것이다. 이는 공유 표현과 다중 작업 학습을 활용하여 두 작업 모두에서 성능을 향상시키는 BERT 기반의 통합 모델을 제안한다. 이 모델은 두 작업 모두에서 최신 기준(SOTA) 모델을 능가하며, MAE는 낮추고 정확도는 높였다.

ABSTRACT

Sentiment analysis has attracted increasing attention in e-commerce. The sentiment polarities underlying user reviews are of great value for business intelligence. Aspect category sentiment analysis (ACSA) and review rating prediction (RP) are two essential tasks to detect the fine-to-coarse sentiment polarities. %Considering the sentiment of the aspects(ACSA) and the overall review rating(RP) simultaneously has the potential to improve the overall performance. ACSA and RP are highly correlated and usually employed jointly in real-world e-commerce scenarios. While most public datasets are constructed for ACSA and RP separately, which may limit the further exploitation of both tasks. To address the problem and advance related researches, we present a large-scale Chinese restaurant review dataset extbf{ASAP} including $46,730$ genuine reviews from a leading online-to-offline (O2O) e-commerce platform in China. Besides a $5$-star scale rating, each review is manually annotated according to its sentiment polarities towards $18$ pre-defined aspect categories. We hope the release of the dataset could shed some light on the fields of sentiment analysis. Moreover, we propose an intuitive yet effective joint model for ACSA and RP. Experimental results demonstrate that the joint model outperforms state-of-the-art baselines on both tasks.

연구 동기 및 목표

• 요소 카테고리 감성 분석(ACSA)과 평점 예측(RP)을 위한 대규모로 통합 주석 처리된 중국어 데이터셋의 부족을 해결하기 위해.
• 세부 요소 감성과 전체 리뷰 평점 모두를 포괄하는 통합 데이터셋을 제공하여 ACSA와 RP의 통합 모델링을 가능하게 하기 위해.
• 요소 수준 감성과 전체 평점의 통합 분석을 통해 감성 이해 및 신뢰성 있는 감성 탐지 능력을 향상시켜 전자상거래 비즈니스 인텔리전스를 발전시키기 위해.
• 연구를 촉진하기 위해 공개적으로 이용 가능한 고품질의 데이터셋을 제공하기 위해.

제안 방법

• 저자들은 중국의 주요 O2O 전자상거래 플랫폼인 메이투안(Meituan)에서 실제 레스토랑 리뷰 46,730건을 수집하였다.
• 각 리뷰는 음식, 서비스, 분杂 등 18개의 사전 정의된 요소 카테고리에 대해 감성 극성(긍정, 부정, 중립)으로 수작업 주석 처리되었다.
• ACSA와 RP 작업 간에 BERT 인코더를 공유하는 통합 딥러닝 모델을 제안하였으며, 이는 요소 수준 감성 예측과 전체 평점 추정 간 지식 전이를 가능하게 한다.
• 모델은 각 요소 카테고리에 관련된 토큰에 동적으로 집중할 수 있도록 어텐션 풀링 레이어를 사용하여 감성 유발 어휘의 국소화를 향상시켰다.
• ACSA와 RP의 손실 함수를 동시에 최적화하는 다중 작업 학습을 통해 통합 모델을 종합적으로 훈련시켰다.
• 모델 아키텍처는 파라미터 공유 덕분에 요소 카테고리 수가 많을 경우에도 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모로 다중 요소, 다중 레이블을 갖는 중국어 리뷰 데이터셋이 요소 카테고리 감성 분석 및 평점 예측 모델의 성능을 향상시킬 수 있는가?
• RQ2 ACSA와 RP를 함께 모델링할 경우 독립적으로 훈련하는 것과 비교해 성능 향상이 어떻게 이루어지는가?
• RQ3 세부 요소 감성 정보를 통합할 경우 전체 평점 예측의 정확도는 어느 정도 향상되는가?
• RQ4 공유 표현과 어텐션 메커니즘을 갖춘 BERT를 사용할 경우 ACSA 및 RP 작업에서 일반화 성능이 향상되는가?

주요 결과

• 제안된 통합 모델은 ACSA에서 매크로 F1 점수 84.7%와 평점 예측에서 정확도 61.26%를 기록하여 모든 최신 기준(SOTA) 모델을 능가했다.
• 통합 모델은 평점 예측의 평균 절대 오차(MAE)를 0.4266으로 낮춰 최고의 베이스라인인 0.5620보다 유의미하게 낮췄다.
• 절단 실험 결과, RP 헤드를 제거하면 두 작업 모두 성능이 떨어졌으며, 이는 통합 학습의 상호 보완적 성격을 확인시켰다.
• 어텐션 시각화 결과, 모델이 요소 관련 토큰에 효과적으로 집중하는 것으로 나타났다. 예를 들어, 교통에 대한 '교통还挺方便的'이나 소음에 대한 '特别吵感觉'와 같은 표현에 집중하였다.
• ACSA 없이 RP 헤드만 있는 통합 모델조차도 모든 독립형 ACSA 베이스라인을 능가했으며, 이는 RP가 요소 감성 예측에 유용한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 이 데이터셋의 공개는 중국어 기반 요소 감성 분석 및 평점 예측 분야의 연구를 가속화하고 실생활 전자상거래 응용 프로그램의 성능 향상에 기여할 것으로 기대된다.