[논문 리뷰] Improving Review Representations with User Attention and Product Attention for Sentiment Classification

Zhen Wu, Xinyu Dai외 3명|arXiv (Cornell University)|2018. 01. 24.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 39

한 줄 요약

이 논문은 계층적 LSTM 내에서 전용 사용자 및 제품 주의 메커니즘을 사용하여 사용자 선호도와 제품 특성을 별도로 모델링하는 새로운 신경망 프레임워크 HUAPA를 제안한다. 사용자 감성과 제품 특성에 대해 별개의 표현을 학습하고, 가중 손실 전략을 통해 통합함으로써, IMDB 및 Yelp 데이터셋에서 기존 방법을 능가하는 최신 기술 성능(SOTA)을 달성하며, 감성 분류에서 뛰어난 성능을 발휘한다.

ABSTRACT

Neural network methods have achieved great success in reviews sentiment classification. Recently, some works achieved improvement by incorporating user and product information to generate a review representation. However, in reviews, we observe that some words or sentences show strong user's preference, and some others tend to indicate product's characteristic. The two kinds of information play different roles in determining the sentiment label of a review. Therefore, it is not reasonable to encode user and product information together into one representation. In this paper, we propose a novel framework to encode user and product information. Firstly, we apply two individual hierarchical neural networks to generate two representations, with user attention or with product attention. Then, we design a combined strategy to make full use of the two representations for training and final prediction. The experimental results show that our model obviously outperforms other state-of-the-art methods on IMDB and Yelp datasets. Through the visualization of attention over words related to user or product, we validate our observation mentioned above.

연구 동기 및 목표

• 기존 모델이 사용자 및 제품 정보를 단일 표현으로 혼합함으로써 감성 결정에서 그들의 차별화된 역할을 포착하지 못하는 한계를 해결하기 위해.
• 관찰된 리뷰의 언어 패턴을 바탕으로 사용자 선호도와 제품 특성이 감성 결정에 서로 다른 역할을 하는지 탐구하기 위해.
• 사용자 및 제품 시각을 별도의 주의 메커니즘을 통해 명시적으로 모델링하여 리뷰 표현 학습을 향상시키기 위해.
• 사용자 및 제품 주의 시각을 모두 활용하는 병합된 학습 전략을 설계하여 표현 학습을 향상시키기 위해.
• 기본 데이터셋에서 주의 시각화와 실증적 평가를 통해 모델의 해석 가능성과 효과성을 검증하기 위해.

제안 방법

• 모델은 사용자 주의와 제품 주의를 각각 갖춘 두 개의 별도 계층적 장기 단기 기억(LSTM) 네트워크를 사용하여, 리뷰 텍스트를 서로 다른 시각에서 인코딩한다.
• 사용자 주의는 개인적 감성 또는 선호도를 표현하는 단어(예: 'love', 'disappointed')에 집중하며, 제품 주의는 제품 기능과 관련된 묘사어(예: 'modern', 'cool')를 강조한다.
• 모델은 세 가지 구성 요소로 이루어진 병합된 손실 함수를 사용한다: 주요 분류 손실과 사용자 및 제품 주의 표현을 위한 보조 손실 두 개.
• 보조 손실($loss_2$ 및 $loss_3$)은 학습 가능한 파라미터($\lambda_2$, $\lambda_3$)로 가중되어, 학습 중 각 시각의 기여도를 균형 있게 조절한다.
• 최종 예측은 사용자 주의 네트워크와 제품 주의 네트워크의 두 개의 컨텍스트 벡터를 연결하여 분류기로 전달함으로써 이루어진다.
• 모델은 감성 분류와 양측 시각에서의 표현 품질을 동시에 최적화하기 위해 손실의 가중 조합을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 사용자 선호도와 제품 특성이 감성 리뷰의 감성 결정에 별개의 역할을 하는가? 별도로 모델링하는 것이 유익한가?
• RQ2 사용자 및 제품 시각에 대해 별도의 주의 메커니즘을 사용하는 것이 통합 모델링 대비 감성 분류 성능 향상에 기여하는가?
• RQ3 제안된 병합된 손실 전략은 사용자 및 제품 시각에서의 표현 학습 향상에 얼마나 효과적인가?
• RQ4 주의 시각화를 통해 모델이 올바르게 감성 관련 단어(사용자 중심)와 특성 관련 단어(제품 중심)를 식별하는가?
• RQ5 모델은 표준 감성 분류 벤치마크에서 최신 기술 방법에 비해 일관되고 유의미한 향상을 달성하는가?

주요 결과

• HUAPA 모델은 IMDB 및 Yelp 데이터셋 모두에서 최신 기술 성능(SOTA)을 달성하며, 기존 방법보다 감성 분류에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 사용자 주의와 제품 주의 모두 기존 주의 없이 구현된 기준 모델 대비 성능 향상을 보였으며, 각 구성 요소의 효과성을 입증했다.
• 사용자 주의가 제품 주의보다 성능 향상에 더 크게 기여했으며, 이는 감성 평점이 궁극적으로 사용자 중심이기 때문이다.
• 모든 세 손실 구성 요소($loss_1$, $loss_2$, $loss_3$)를 포함한 전체 HUAPA 모델이 가장 뛰어난 성능을 보였으며, 병합된 학습 전략의 유용성을 입증했다.
• 주의 가중치의 시각화 결과, 모델이 높은 주의 점수를 가진 사용자 중심 단어(예: 'love')와 제품 중심 단어(예: 'cool', 'modern')를 정확히 식별하는 것으로 확인되었다.
• 모델은 긍정적인 제품 묘사(예: 'good')와 부정적인 사용자 감성(예: 'disappointed')이 함께 있는 불일치한 감성 패턴을 성공적으로 포착하여 정확한 예측을 내놓았다.