[논문 리뷰] Review Helpfulness Assessment based on Convolutional Neural Network

Xianshan Qu, Xiaopeng Li외 1명|arXiv (Cornell University)|2018. 08. 27.

Sentiment Analysis and Opinion Mining참고 문헌 12인용 수 15

한 줄 요약

이 논문은 온라인 제품 리뷰의 유용성을 자동으로 평가하기 위해 컨볼루션 신경망(CNN) 모델을 제안한다. 리뷰 텍스트와 별점 정보를 통합하여, 텍스트 전용 모델 대비 정확도를 2% 향상시키며, 기준 데이터셋에서 이전에 발표된 연구 대비 4.24% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we describe the implementation of a convolutional neural network (CNN) used to assess online review helpfulness. To our knowledge, this is the first use of this architecture to address this problem. We explore the impact of two related factors impacting CNN performance: different word embedding initializations and different input review lengths. We also propose an approach to combining rating star information with review text to further improve prediction accuracy. We demonstrate that this can improve the overall accuracy by 2%. Finally, we evaluate the method on a benchmark dataset and show an improvement in accuracy relative to published results for traditional methods of 2.5% for a model trained using only review text and 4.24% for a model trained on a combination of rating star information and review text.

연구 동기 및 목표

• 온라인 제품 리뷰의 유용성을 자동으로 평가하기 위한 딥 러닝 접근법을 개발하기 위해.
• 워드 임베딩 초기화 방식과 입력 리뷰 길이가 CNN 성능에 미치는 영향을 조사하기 위해.
• 리뷰 텍스트와 별점 정보를 융합하여 예측 정확도를 향상시키는 시너지 효과를 탐색하기 위해.
• 대규모 및 소규모 기준 데이터셋에서 제안된 모델의 성능을 평가하고, 이전에 발표된 결과와 비교하기 위해.

제안 방법

• 리뷰 텍스트에서 국소적 특징을 추출하기 위해 컨볼루션 및 풀링 레이어를 포함한 CNN 아키텍처를 구현한다.
• 별점 정보를 텍스트와 융합하기 위한 두 가지 방법을 제안한다: CM1(특징 추출 후 별점 추가)과 CM2(입력 레이어에서 별점 연결).
• 워드 임베딩을 무작위 또는 사전 학습된 GloVe 벡터로 초기화하여, 모델 성능에 미치는 영향을 평가한다.
• 모델은 대규모 데이터셋에서 초모수를 튜닝하고, 소규모 기준 데이터셋에서 5겹 교차검증을 통해 미세조정한다.
• 정확도와 학습 속도의 균형을 맞추기 위해 입력을 처음 300단어로 잘라내어 리뷰 길이를 제어한다.
• 이진 유용성 분류의 정확도를 사용하여 모델 성능을 평가하며, 이는 이전 최신 기술 수준의 방법과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 워드 임베딩 초기화 방식(무작위 vs. 사전 학습된 GloVe)의 선택이 리뷰 유용성 평가에서 CNN 성능에 미치는 영향은 무엇인가?
• RQ2 정확도를 유지하면서 학습 효율성을 높이기 위해 최적의 입력 리뷰 길이는 무엇인가?
• RQ3 리뷰 텍스트와 별점 정보를 융합하면 유용성 예측 정확도가 향상되는가?
• RQ4 별점을 조기에 입력하는 방식(CM2)과 늦게 융합하는 방식(CM1) 중 어느 것이 더 높은 성능을 낼 수 있는가?
• RQ5 제안된 CNN 모델은 기준 데이터셋에서 이전 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 무작위로 초기화된 워드 임베딩이 사전 학습된 GloVe 임베딩만큼 성능을 보이며, 리뷰 데이터에서의 토닝이 충분할 수 있음을 시사한다.
• 리뷰를 처음 300단어로 잘라내는 것은 전체 리뷰 길이를 사용할 때와 동일한 정확도를 유지하면서 학습 시간을 4배 줄인다.
• 별점 정보를 통합하면 텍스트 전용 모델 대비 모델 정확도가 2% 향상된다.
• 입력 레이어에서 별점을 연결하는 CM2 방식은 2.14%의 정확도 향상을 달성하여, CM1(0.23% 향상)보다 뛰어나며, 이는 조기에 통합할수록 별점 정보의 영향력이 유지됨을 나타낸다.
• 소규모 기준 데이터셋에서 모델은 텍스트만 사용할 경우 74.4%의 정확도를 기록하고, 텍스트와 별점을 융합할 경우 76.14%의 정확도를 달성하여 이전 최고 성능인 71.9%를 초월한다.
• 전반적인 방법은 텍스트 전용 모델 대비 2.5% 향상되었고, 이전에 발표된 병합 모델 대비 4.24% 향상되어 최신 기술 수준의 성능을 입증한다.