[논문 리뷰] Predicting Helpfulness of Online Reviews

Abdalraheem Alsmadi, Shadi AlZu’bi외 2명|arXiv (Cornell University)|2020. 08. 23.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 4

한 줄 요약

이 논문은 아마존 리뷰 데이터를 바탕으로 지도 학습, 준지도 학습, 사전 훈련된 딥 러닝 모델을 활용한 다중 접근 방식의 머신 러닝 프레임워크를 제안하여 온라인 제품 리뷰의 유용성(도움이 되는지 여부)을 예측한다. 준지도 학습된 RCNN 모델과 FastText 임베딩, 미세조정된 BERT/RoBERTa 모델이 기존 분류기들보다 뚜렷이 뛰어난 성능을 보이며, 준지도 학습된 RCNN는 전체 정확도 88.75%를 기록하여 지도 학습된 RCNN보다 6% 높은 성능을 보였다. BERT는 86.16%의 정확도를 기록했다.

ABSTRACT

E-commerce dominates a large part of the world's economy with many websites dedicated to online selling products. The vast majority of e-commerce websites provide their customers with the ability to express their opinions about the products/services they purchase. These feedback in the form of reviews represent a rich source of information about the users' experiences and level of satisfaction, which is of great benefit to both the producer and the consumer. However, not all of these reviews are helpful/useful. The traditional way of determining the helpfulness of a review is through the feedback from human users. However, such a method does not necessarily cover all reviews. Moreover, it has many issues like bias, high cost, etc. Thus, there is a need to automate this process. This paper presents a set of machine learning (ML) models to predict the helpfulness online reviews. Mainly, three approaches are used: a supervised learning approach (using ML as well as deep learning (DL) models), a semi-supervised approach (that combines DL models with word embeddings), and pre-trained word embedding models that uses transfer learning (TL). The latter two approaches are among the unique aspects of this paper as they follow the recent trend of utilizing unlabeled text. The results show that the proposed DL approaches have superiority over the traditional existing ones. Moreover, the semi-supervised has a remarkable performance compared with the other ones.

연구 동기 및 목표

• 비용이 많이 들고 편향이 있을 수 있는 인간 평가에 의존하지 않고 온라인 제품 리뷰의 유용성 예측을 자동화하기 위해.
• 미사용된 리뷰 데이터의 잠재적 활용을 고려해 준지도 학습 기법을 통합하여 활용도를 높이기 위해.
• BERT와 RoBERTa와 같은 사전 훈련된 언어 모델이 분류 정확도 향상에 얼마나 효과적인지 평가하기 위해.
• 표준화된 아마존 리뷰 데이터셋을 기반으로 전통적인 머신 러닝 모델, 딥 러닝 아키텍처, 전이 학습 접근 방식을 비교하기 위해.
• 전자상거래 플랫폼이 소비자에게 가장 유용한 리뷰만을 효과적으로 노출시킬 수 있도록 확장 가능하고 정확한 솔루션을 제공하기 위해.

제안 방법

• 라벨이 부여된 아마존 리뷰 데이터를 기반으로 다양한 분류기(FastText, SVM, Bi-LSTM, CNN, RCNN)를 사용해 지도 학습 파이프라인을 훈련시켰다.
• 라벨이 부여된 데이터(90만 건)와 대규모의 미라벨 데이터(490만 건)를 모두 활용하여 일반화 능력을 향상시킨 준지도 학습 RCNN 모델을 구현했다.
• 준지도 학습 환경에서 특징 표현을 향상시키기 위해 스킵그램 아키텍처를 사용한 FastText 단어 임베딩을 활용했다.
• 동일한 아마존 리뷰 데이터셋을 기반으로 전이 학습을 통해 사전 훈련된 트랜스포머 모델인 BERT와 RoBERTa를 미세조정하여 종단 간 분류를 수행했다.
• 모든 모델을 네 가지 제품 카테고리(도서, 전자제품, CD & 빈티지, 영화 및 TV)에서 정확도를 주요 평가 지표로 사용해 평가했다.
• BERT 훈련 과정에서 데이터 증강과 동적 마스킹을 적용하여 문맥적 표현과 내성적 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 RCNN과 같은 딥 러닝 모델이 기존 머신 러닝 분류기들보다 리뷰의 유용성 예측 성능에서 뛰어나게 되는가?
• RQ2 준지도 학습 기법을 통해 대규모의 미라벨 리뷰 데이터를 통합함으로써 리뷰 유용성 예측 모델의 성능 향상이 이루어지는가?
• RQ3 BERT와 RoBERTa와 같은 사전 훈련된 언어 모델이 미세조정된 RCNN 및 기타 분류기들에 비해 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 다양한 제품 카테고리에서 준지도 학습된 RCNN의 성능이 지도 학습된 RCNN와 비교해 어떻게 다를까?
• RQ5 BERT와 RoBERTa를 활용한 전이 학습이 아마존 리뷰 유용성 예측 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 지도 학습된 RCNN 모델은 전통적인 분류기들 중에서 가장 높은 정확도를 기록하여 전체 정확도 83.25%를 달성했으며, FastText(75.9%), SVM(75.5%), Bi-LSTM(79.12%), CNN(82%)보다 뛰어났다.
• 준지도 학습된 RCNN 모델은 모든 카테고리에서 지도 학습된 RCNN보다 5–6%포인트 높은 성능을 보이며 전체 정확도 88.75%를 기록했다.
• FastText 임베딩을 사용한 준지도 학습 RCNN는 도서 카테고리에서 87%, 전자제품에서 86%, CD & 빈티지에서 92%, 영화 및 TV에서 90%의 정확도를 기록하여 지도 학습 버전을 크게 앞서 갔다.
• 사전 훈련된 모델인 BERT와 RoBERTa의 전체 정확도는 각각 86.16%와 84.12%였으며, RCNN(83.25%)를 포함한 모든 지도 학습 모델을 초월했고, 일부 카테고리에선 준지도 학습 RCNN보다도 뛰어난 성능을 보였다.
• BERT 모델은 도서에서 86.3%, 전자제품에서 85.16%, CD & 빈티지에서 87.7%, 영화 및 TV에서 85.5%의 정확도를 기록하여 다양한 제품 유형에 걸쳐 뛰어난 일반화 능력을 보였다.
• 결과는 라벨 없이 사용되지 않은 데이터와 전이 학습이 모델 성능 향상에 크게 기여하며, 준지도 학습 RCNN와 BERT 모델이 이 데이터셋에서 새로운 기준을 설정했다는 것을 확인시켰다.