[논문 리뷰] Item Recommendation with Variational Autoencoders and Heterogenous Priors

Giannis Karamanolakis, Kevin Raji Cherian외 4명|arXiv (Cornell University)|2018. 07. 17.

Recommender Systems and Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 표준 가우시안 사전분포를 사용자 기반의 사전분포로 대체하는 VAE-HPrior라는 변분 오토인코더를 제안한다. 이 사전분포는 사용자 리뷰 텍스트에서 유도된다. 평점과 텍스트 피드백을 통합한 다중모달 잠재공간에서 사용자를 모델링함으로써, 기준 VAE 및 최신 기술 기준 모델 대비 IMDB 및 Yelp 데이터셋에서 Recall@20 기준 최대 29.41% 향상된 성능을 달성한다.

ABSTRACT

In recent years, Variational Autoencoders (VAEs) have been shown to be highly effective in both standard collaborative filtering applications and extensions such as incorporation of implicit feedback. We extend VAEs to collaborative filtering with side information, for instance when ratings are combined with explicit text feedback from the user. Instead of using a user-agnostic standard Gaussian prior, we incorporate user-dependent priors in the latent VAE space to encode users' preferences as functions of the review text. Taking into account both the rating and the text information to represent users in this multimodal latent space is promising to improve recommendation quality. Our proposed model is shown to outperform the existing VAE models for collaborative filtering (up to 29.41% relative improvement in ranking metric) along with other baselines that incorporate both user ratings and text for item recommendation.

연구 동기 및 목표

• 이질적인 보조 정보, 특히 사용자 리뷰 텍스트를 통합하여 추천 시스템의 협업 필터링 성능을 향상시키는 것.
• 표준 VAE가 사용자에 무관한 가우시안 사전분포를 사용함으로써 잠재 표현이 열악해질 수 있는 한계를 해결하는 것.
• 평점과 텍스트 피드백을 함께 인코딩하여 공통의 다중모달 잠재공간에 저장함으로써 사용자 선호도를 더 정확히 모델링하는 것.
• 리뷰 텍스트에서 유도된 사용자 기반 사전분포가 표준 또는 무작위 사전분포 대비 추천 성능 향상에 기여하는지 평가하는 것.
• 평가된 방법이 평점과 텍스트를 통합하는 하이브리드 기반모델(VAE-TR, Mult-DAE 등)과 비교하여 어떻게 성능을 내는지 비교하는 것.

제안 방법

• 모델는 사용자의 아이템 평점 이력이 딥 네ural 네트워크 인코더를 통해 잠재 벡터로 인코딩되는 변분 오토인코더 프레임워크를 사용한다.
• 표준 가우시안 사전분포 대신, 사용자 자신의 리뷰 텍스트를 별도의 텍스트 인코더를 통해 추정한 사용자 기반 사전분포를 사용한다.
• 각 사용자의 사전분포는 리뷰 텍스트 임베딩의 함수로 모델링되어, 잠재공간에 개인화된 인덕티브 바이어스를 제공한다.
• 평점 재구성과 텍스트 기반 사전분포 정규화를 포함한 확장된 증거 하한값(ELBO)을 최적화함으로써 결합 가능도를 최적화한다.
• 디코더는 잠재벡터에서 비선형 매핑을 통해 사용자의 아이템 상호작용 벡터를 재구성하고, 소프트맥스를 적용하여 아이템 확률을 산출한다.
• 모델는 검증 데이터에서 최적화된 초모델 파rameter를 사용하여 스토케스틱 그래디언트 디센트를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 리뷰 텍스트에서 유도된 사용자 기반 사전분포가 VAE 기반 추천 모델의 잠재 표현 품질을 향상시킬 수 있는가?
• RQ2 사용자로부터의 텍스트 피드백을 통합할 경우, 단지 평점만을 사용하는 모델 대비 랭킹 성능에 어떤 영향을 미치는가?
• RQ3 텍스트 기반 사전분포를 사용하는 것이 텍스트 임베딩 방향으로 잠재 표현을 정규화하는 다른 방법보다 성능이 뛰어나게 되는가?
• RQ4 제안된 방법은 노이즈 제거 오토인코더 및 기타 하이브리드 추천 기반모델과 비교하여 어떻게 성능을 내는가?
• RQ5 텍스트 표현의 품질(예: 워드 임베딩 vs. 토픽 모델)이 최종 추천 성능에 어느 정도 영향을 미치는가?

주요 결과

• IMDB 데이터셋에서 VAE-HPrior는 가장 강력한 기준모델인 Mult-VAE 대비 Recall@20에서 29.41% 상대적 향상을 달성했다.
• Yelp 데이터셋에서 VAE-HPrior는 Mult-VAE 대비 Recall@20에서 18.69% 상대적 향상을 기록했다.
• IMDB에서 VAE-TR(잠재벡터를 텍스트 임베딩으로 정규화하는 기준모델) 대비 VAE-HPrior는 Recall@20에서 최대 25% 상대적 향상을 기록했다.
• VAE-HPrior는 노이즈 제거 오토인코더인 Mult-DAE와 유사한 성능을 보였으며, 이는 사용자 기반 사전분포가 성능 면에서 노이즈 제거 목표와 맞먹을 수 있음을 시사한다.
• 무작위 사전분포를 사용하는 VAE-RP는 Mult-VAE보다 略적으로 더 뛰어난 성능을 보였으며, 이는 텍스트가 없더라도 사용자 기반 사전분포가 유용함을 시사한다.
• 역사적 상호작용을 忽시하는 Text-kNN은 다른 모든 모델보다 열등한 성능을 보였으며, 이는 상호작용 데이터와 텍스트 특징을 통합할 필요성을 강조한다.