[논문 리뷰] TransRev: Modeling Reviews as Translations from Users to Items

Alberto García-Durán, Roberto González외 3명|arXiv (Cornell University)|2018. 01. 30.

Sentiment Analysis and Opinion Mining참고 문헌 27인용 수 19

한 줄 요약

TransRev는 공유된 벡터 공간 내에서 사용자 임베딩에서 아이템 임베딩으로의 번역으로서 제품 리뷰를 모델링하는 통합 학습 프레임워크를 제안한다. 추론 시 리뷰 임베딩을 아이템 임베딩와 사용자 임베딩의 차이로 근사함으로써 정확한 점수 예측과 리뷰 검색이 가능해지며, 19개의 벤치마크 데이터셋 중 15개에서 최신 기술을 초월한다.

ABSTRACT

The text of a review expresses the sentiment a customer has towards a particular product. This is exploited in sentiment analysis where machine learning models are used to predict the review score from the text of the review. Furthermore, the products costumers have purchased in the past are indicative of the products they will purchase in the future. This is what recommender systems exploit by learning models from purchase information to predict the items a customer might be interested in. We propose TransRev, an approach to the product recommendation problem that integrates ideas from recommender systems, sentiment analysis, and multi-relational learning into a joint learning objective. TransRev learns vector representations for users, items, and reviews. The embedding of a review is learned such that (a) it performs well as input feature of a regression model for sentiment prediction; and (b) it always translates the reviewer embedding to the embedding of the reviewed items. This allows TransRev to approximate a review embedding at test time as the difference of the embedding of each item and the user embedding. The approximated review embedding is then used with the regression model to predict the review score for each item. TransRev outperforms state of the art recommender systems on a large number of benchmark data sets. Moreover, it is able to retrieve, for each user and item, the review text from the training set whose embedding is most similar to the approximated review embedding.

연구 동기 및 목표

• 제품 추천, 감성 분석, 다중관계 학습을 통합한 유일한 프레임워크를 통한 제품 추천을 위한 통합적 접근.
• 점수 예측과 리뷰 검색을 모두 지원하는 통합된 사용자, 아이템, 리뷰 임베딩 학습.
• 테스트 시 리뷰 임베딩을 사용자-아이템 임베딩의 차이로 근사함으로써, 미리보지 않은 사용자-아이템 쌍에 대한 리뷰 점수를 정확하게 예측할 수 있도록 하기.
• 학습된 임베딩을 기반으로 유사한 의미적 리뷰를 검색함으로써 리뷰 작성의 부담을 줄이기.

제안 방법

• TransRev는 공동 목표 함수를 사용하여 공유된 잠재 공간에서 사용자, 아이템, 리뷰 임베딩을 학습한다.
• 모델은 사용자 임베딩과 리뷰 임베딩의 합이 리뷰된 아이템의 임베딩을 근사하도록 강제한다 (즉, 리뷰를 번역으로 간주: 사용자 + 리뷰 ≈ 아이템).
• 리뷰 임베딩는 점수 예측을 위한 후행 감성 회귀 모델에서의 성능을 향상시키기 위해 학습된다.
• 테스트 시점에 리뷰 임베딩는 아이템 임베딩와 사용자 임베딩의 차이로 근사된다: ĥ_rev = h_item - h_user.
• 근사된 리뷰 임베딩는 회귀 모델의 입력으로 사용되어 리뷰 점수를 예측한다.
• 리뷰 검색은 근사된 리뷰 임베딩와 모든 훈련 리뷰 임베딩 간의 유클리드 거리를 계산하여 수행된다.

실험 결과

연구 질문

• RQ1 통합된 임베딩 공간이 사용자 선호도, 아이템 특성, 제품 리뷰의 감성 요소를 동시에 모델링할 수 있는가?
• RQ2 사용자-아이템 차이를 통한 리뷰 임베딩 근사가 기존 방법에 비해 점수 예측 성능을 향상시키는가?
• RQ3 학습된 리뷰 임베딩가 의미적으로 유사한 훈련 리뷰를 검색할 수 있는가? 이는 사용자 리뷰 제안에 유용한가?
• RQ4 학습된 단어 임베딩가 리뷰 점수와 관련하여 감성 극성(긍/부정)을 얼마나 잘 포착하는가?

주요 결과

• TransRev는 19개의 벤치마크 데이터셋 중 15개에서 점수 예측 정확도 측면에서 최신 기술을 초월한다.
• t-SNE 시각화를 통해 단어 임베딩가 감성과 관련하여 잘 학습되었음을 확인하였으며, 음성, 중립, 긍정 감성에 해당하는 단어 클러스터가 명확히 구분된다.
• 근사된 리뷰 임베딩는 의미적으로 유사한 훈련 리뷰를 효과적으로 검색할 수 있게 하며, 검색된 리뷰는 일반적으로 대상 리뷰의 전체 감성과 일치하는 경향이 있다.
• 비록 성공적인 결과를 얻었지만, 모델은 부정어(예: 'not good')나 특정 요소에 초점을 맞춘 언어와 같은 감성의 미묘한 차이를 잘 포착하지 못하여 어순과 요소 기반 표현 모델링에 한계를 보인다.