[논문 리뷰] Learning Attitudes and Attributes from Multi-Aspect Reviews

Julian McAuley, Jure Leskovec외 1명|arXiv (Cornell University)|2012. 10. 15.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 15

한 줄 요약

이 논문은 다중 측면 리뷰에서 측면별 감성 정보를 약한 지도 학습(측면 평가)을 통해 학습하는 확장성 있고 해석 가능한 모델인 PaleLager를 제안한다. 이 모델은 콘텐츠 단어와 감성 단어를 분리하여 정확한 측면 할당, 리뷰 요약, 누락된 평가 복구를 가능하게 하며, 여러 도메인에 걸쳐 500만 건의 리뷰가 포함된 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The majority of online reviews consist of plain-text feedback together with a single numeric score. However, there are multiple dimensions to products and opinions, and understanding the `aspects' that contribute to users' ratings may help us to better understand their individual preferences. For example, a user's impression of an audiobook presumably depends on aspects such as the story and the narrator, and knowing their opinions on these aspects may help us to recommend better products. In this paper, we build models for rating systems in which such dimensions are explicit, in the sense that users leave separate ratings for each aspect of a product. By introducing new corpora consisting of five million reviews, rated with between three and six aspects, we evaluate our models on three prediction tasks: First, we use our model to uncover which parts of a review discuss which of the rated aspects. Second, we use our model to summarize reviews, which for us means finding the sentences that best explain a user's rating. Finally, since aspect ratings are optional in many of the datasets we consider, we use our model to recover those ratings that are missing from a user's evaluation. Our model matches state-of-the-art approaches on existing small-scale datasets, while scaling to the real-world datasets we introduce. Moreover, our model is able to `disentangle' content and sentiment words: we automatically learn content words that are indicative of a particular aspect as well as the aspect-specific sentiment words that are indicative of a particular rating.

연구 동기 및 목표

• 사용자의 평가가 맥주 리뷰와 같은 제품의 다수의 측면(맛, 향기, 감촉 등)에 어떻게 분포되어 있는지 모델링하는 것.
• 수동 레이블 없이 측면 평가만을 사용하여 어떤 문장이 어떤 측면을 다루는지 학습하는 확장 가능한 방법 개발.
• 각 측면에 대해 콘텐츠 단어와 감성 단어를 분리하여 각 측면에 맞는 설명 가능한 감성 어휘 사전 생성.
• 리뷰 텍스트와 총합 평가를 기반으로 측면 평가가 선택사항일 경우에도 누락된 측면 평가를 예측하는 것.
• 사용자의 총합 평가를 가장 잘 설명하는 문장을 식별하여 리뷰 요약 향상.

제안 방법

• 잠재 변수의 혼합을 사용하여 각 측면의 할당과 감성 정보를 동시에 모델링하는 확률적 모델인 PaleLager를 제안.
• 다중 측면 평가를 약한 지도 신호로 사용하여, 측면별 단어 분포와 감성 가중치를 학습하는 비지도 학습 모델을 훈련.
• 측면 평가 간 상관관계를 명시적으로 모델링하여 누락된 평가 예측 성능을 향상시키는 쌍별 평가 모델 도입.
• 각 측면에 대해 별도의 감성 파rameter를 도입하여, 각 측면에 맞는 독립적인 감성 어휘 사전 생성(예: '물기 있는'은 맛에 대해 부정적이지만 외관에 대해는 중립적).
• 측면 평가만을 지도 신호로 사용하여 각 문장을 측면에 할당하는 분할 모델 적용.
• 비지도 학습(단지 평가만), 약한 지도 학습(소수의 레이블된 문장), 완전 지도 학습(완전히 레이블된 데이터)의 세 가지 설정에서 모델 훈련.

실험 결과

연구 질문

• RQ1 다중 측면 평가를 약한 지도 신호로 사용하여 리뷰의 어떤 문장이 어떤 측면을 다루는지 학습할 수 있는가?
• RQ2 사용자의 총합 평가를 가장 잘 설명하는 문장을 모델이 식별할 수 있는가? 이를 통해 효과적인 리뷰 요약이 가능한가?
• RQ3 리뷰 텍스트와 총합 평가를 기반으로 측면 평가가 선택사항일 경우에도 누락된 측면 평가를 복구할 수 있는가?
• RQ4 측면 콘텐츠를 감성과 분리함으로써, 공동 모델링 대비 해석 가능성과 성능 향상이 이루어지는가?
• RQ5 측면 평가 간 상관관계를 모델링함으로써, 독립 모델 대비 누락 평가 예측 정확도가 향상되는가?

주요 결과

• 수동 레이블 없이도 비지도 학습된 PaleLager 모델은 애초에 수동 레이블 기반 베이스라인보다 일부 설정에서 측면 탐지 및 요약 성능이 뛰어나다.
• 모델은 매우 해석 가능한 측면 및 감성 어휘 사전을 학습한다: 콘텐츠 단어는 주로 명사(예: '맛', '향기'), 감성 단어는 주로 형용사(예: '썩은', '부드러운')이다.
• 쌍별 평가 모델은 분할되지 않은 텍스트를 사용할 경우 SVM 기반 베이스라인 대비 예측 오차를 23% 감소시키며, 분할된 텍스트와 조합할 경우 추가로 22% 감소시킨다.
• 정확하지 않은 측면 레이블이 존재하더라도 비지도 학습 모델은 예측 가능한 평가를 생성하며, 이는 학습된 측면 할당이 사용자 평가와 본질적으로 상관되어 있음을 보여준다.
• 모델은 맥주 리뷰에서 '옥수수'라는 단어가 맛과 향기 측면에서 부정적으로 연관되어 있음을 성공적으로 식별하여 전문가들 사이에서의 실제 의미를 반영한다.
• 텍스트 분할은 평가 예측 성능 향상에 기여하지만, 성공의 핵심은 측면 간 상관관계를 모델링하는 데 있다. 단순한 분할만으로는 부족하다.