[논문 리뷰] Joint Deep Modeling of Users and Items Using Reviews for Recommendation

Lei Zheng, Vahid Noroozi외 1명|arXiv (Cornell University)|2017. 01. 17.

Recommender Systems and Techniques참고 문헌 31인용 수 86

한 줄 요약

DeepCoNN는 리뷰 텍스트에서 사용자와 아이템을 두 개의 CNN과 공유 상호작용 층으로 공동 모델링하여, 여러 데이터셋에서 baselines보다 더 우수한 평가 예측을 달성한다.

ABSTRACT

A large amount of information exists in reviews written by users. This source of information has been ignored by most of the current recommender systems while it can potentially alleviate the sparsity problem and improve the quality of recommendations. In this paper, we present a deep model to learn item properties and user behaviors jointly from review text. The proposed model, named Deep Cooperative Neural Networks (DeepCoNN), consists of two parallel neural networks coupled in the last layers. One of the networks focuses on learning user behaviors exploiting reviews written by the user, and the other one learns item properties from the reviews written for the item. A shared layer is introduced on the top to couple these two networks together. The shared layer enables latent factors learned for users and items to interact with each other in a manner similar to factorization machine techniques. Experimental results demonstrate that DeepCoNN significantly outperforms all baseline recommender systems on a variety of datasets.

연구 동기 및 목표

• 다양한 추천 시스템의 희소성을 완화하기 위해 풍부한 리뷰 텍스트를 활용한다.
• 리뷰로부터 사용자 행동과 아이템 특성을 공동으로 학습한다.
• 공통 예측 프레임워크에서 사용자 및 아이템 잠재 요인을 결합한다.
• 텍스트와의 공동 모델링이 다양한 데이터셋에서 단순 평점 baselines보다 우수한지 평가한다.

제안 방법

• 두 개의 평행 CNN 기반 네트워크(Net_u: 사용자용, Net_i: 아이템용)가 합쳐진 리뷰를 잠재 특징으로 처리한다.
• 단어 임베딩을 사용해 단어 순서를 보존하고 의미 정보를 포착한다.
• 공유 계층은 Factorization Machine을 사용해 x_u와 y_i를 집계하여 평점을 예측한다.
• 입력층의 2차 상호작용을 모델링하는 공동 목표함수를 최소화하도록 학습한다.
• 사전 학습된 단어 임베딩(구글 뉴스에서)을 입력층에 초기화하고 학습 중 미세조정한다.
• 드롭아웃과 RMSprop을 사용해 과적합을 방지하고 학습을 최적화한다.

실험 결과

연구 질문

• RQ1 사용자와 아이템 리뷰를 공동으로 모델링하는 것이 평점이나 리뷰만 단독으로 사용하는 baselines를 넘어서 평점 예측을 개선할 수 있는가?
• RQ2 임베딩을 통한 단어 순서 보존과 공유 상호작용 계층 사용이 토픽 모델링 기반 접근법보다 더 나은 성능을 보이는가?
• RQ3 온라인 학습에 대한 확장성 및 희소 데이터(콜드 스타트 시나리오)를 처리할 수 있는가?

주요 결과

• DeepCoNN은 Yelp, Amazon, Beer에서 MF, PMF, LDA, CTR, HFT, CDL 기반선들보다 평균 제곱 오차(MSE)가 더 작게 나타났다.
• 데이터셋 간 평균 MSE: MF 1.292, PMF 1.256, LDA 1.184, CTR 1.112, HFT-10 1.088, HFT-50 1.09, CDL 1.081, DeepCoNN 0.994 (최고).
• DeepCoNN은 최고 베이스라인에 비해 평균 약 8.3%의 개선을 보인다.
• 더 적은 평가를 가진 사용자/아이템에서 더 강한 이득을 보이며 희소성과 콜드 스타트 문제를 완화하는 데 도움을 준다.
• 변형 분석은 사용자와 아이템을 단어 임베딩과 공유 FM 계층으로 모델링하는 것이 단일 네트워크나 TF-IDF/랜덤 표현보다 우수하다는 것을 보여준다.
• DeepCoNN은 다양한 도메인(Yelp, Amazon 카테고리, Beer)에서도 효과적이다.