[논문 리뷰] Explainable Sentence-Level Sentiment Analysis for Amazon Product Reviews

Xuechun Li, Xueyao Sun외 2명|arXiv (Cornell University)|2021. 11. 11.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 이중 LSTM(BiLSTM)과 주의 메커니즘을 사용하여 아마존 제품 리뷰에 대한 문장 수준의 해석 가능한 감성 분석 모델을 제안하며, 96%의 정확도를 달성한다. 모델은 요소 어휘(aspect terms)가 감성 어휘(sentiment words)보다 더 높은 주의 가중치를 받는 경향이 있음을 강조하여, 모델의 해석 가능성 향상과 감성 예측을 이끄는 요소에 대한 통찰을 제공한다.

ABSTRACT

In this paper, we conduct a sentence level sentiment analysis on the product reviews from Amazon and thorough analysis on the model interpretability. For the sentiment analysis task, we use the BiLSTM model with attention mechanism. For the study of interpretability, we consider the attention weights distribution of single sentence and the attention weights of main aspect terms. The model has an accuracy of up to 0.96. And we find that the aspect terms have the same or even more attention weights than the sentimental words in sentences.

연구 동기 및 목표

• 높은 해석 가능성과 함께 아마존 제품 리뷰에 대한 문장 수준의 감성 분석 모델을 개발하기 위해.
• 주의 가중치가 감성 예측을 이끄는 요소들(예: 요소 어휘, 감성 어휘)을 식별하는 데서 수행하는 역할을 조사하기 위해.
• 모델의 의사결정 과정에서 요소 어휘가 감성 어휘와 비교하여 동일하거나 더 높은 주의 가중치를 받는지 평가하기 위해.
• 주의 가시화와 분포 분석을 통해 모델 행동에 대한 실질적인 통찰을 제공하기 위해.
• 주어진 언어적 특성와 연결된 주의 메커니즘을 통해 자연어 처리 모델의 투명성을 향상시키기 위해, 전자상거래 감성 분석 분야에서의 투명성 향상에 기여하기 위해.

제안 방법

• 문장 수준의 리뷰에서 순차적 의존성을 포착하기 위해 이중 장기 단기 기억망(BiLSTM)을 사용한다.
• 입력 시퀀스의 각 단어의 중요도를 동적으로 가중하기 위해 주의 메커니즘을 통합한다.
• 주어진 문장 수준과 동시에 주로 식별된 주요 요소 어휘에 대해 주의 가중치를 분석한다.
• 이진 감성 레이블(긍정/부정)을 사용하여 아마존 제품 리뷰 데이터로 모델을 훈련시킨다.
• 단어와 요소 어휘에 대한 주의 분포를 가시화함으로써 해석 가능성을 향상시킨다.
• 주의 분석 이전에 사전 정의된 요소 탐지 모듈을 사용하여 요소 어휘를 추출한다.

실험 결과

연구 질문

• RQ1 모델의 예측에서 요소 어휘가 감성 어휘와 비교하여 더 높거나 동일한 주의 가중치를 받는가?
• RQ2 문장 내 다양한 유형의 단어(예: 요소 어휘, 감성 어휘, 기능어)에 대해 주의 가중치가 어떻게 분포되어 있는가?
• RQ3 주의 메커니즘이 제품 리뷰에서 인간이 애초에 지정한 감성 이끌개 요소를 어느 정도 반영하는가?
• RQ4 주로 주의 기반 설명이 문장의 감성 분류에 기여하는 핵심 요소를 신뢰성 있게 강조할 수 있는가?
• RQ5 모델의 성능은 주의 패턴의 해석 가능성과 어떻게 상관관계가 있는가?

주요 결과

• 제안된 모델은 아마존 제품 리뷰 데이터셋에서 감성 분류 정확도 96%를 달성한다.
• 요소 어휘는 동일한 문장 내에서 감성 어휘보다 동일하거나 더 높은 주의 가중치를 지속적으로 받는다.
• 주의 가시화 결과, 감성 어휘가 존재하더라도 요소 어휘가 감성 예측의 주요 이끌개 요소로 자주 나타나는 것으로 확인된다.
• 주의 메커니즘이 의미적으로 유의미한 어구를 효과적으로 강조하여 모델의 투명성을 향상시킨다.
• 주의 가중치와 인간이 지정한 감성 관련 어휘 사이에 강한 일치가 관찰되어 모델의 해석 가능성이 향상된다.
• 연구 결과에 따르면 요소 어휘는 감성 이해에 중요한 요소일 뿐 아니라, 모델의 의사결정 과정에서 중심적인 역할을 한다.