[논문 리뷰] Neural Variational Hybrid Collaborative Filtering

Teng Xiao, Shangsong Liang외 2명|arXiv (Cornell University)|2018. 10. 12.

Recommender Systems and Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 행렬 희소성 문제를 완화하고 잠재 표현 학습을 향상시키기 위해 측면 정보에 특화된 사전 분포를 사용하여 사용자 및 아이템의 생성 과정을 함께 모델링하는 통합적인 딥 생성 모델인 신경망 변동형 하이브리드 협업 필터링(Neural Variational Hybrid Collaborative Filtering, NVHCF)을 제안한다. 조건부 변동 오토인코더와 확률적 경량 최적화 기반 추론을 활용하여 NVHCF는 최적의 top-k 추천 작업에서 최신 기술 수준의 성능을 달성하며, 새로운 사용자나 아이템에 대한 쿨스타트 문제를 효과적으로 처리한다.

ABSTRACT

Collaborative Filtering (CF) is one of the most used methods for Recommender System. Because of the Bayesian nature and nonlinearity, deep generative models, e.g. Variational Autoencoder (VAE), have been applied into CF task, and have achieved great performance. However, most VAE-based methods suffer from matrix sparsity and consider the prior of users' latent factors to be the same, which leads to poor latent representations of users and items. Additionally, most existing methods model latent factors of users only and but not items, which makes them not be able to recommend items to a new user. To tackle these problems, we propose a Neural Variational Hybrid Collaborative Filtering, NVHCF. Specifically, we consider both the generative processes of users and items, and the prior of latent factors of users and items to be side informationspecific, which enables our model to alleviate matrix sparsity and learn better latent representations of users and items. For inference purpose, we derived a Stochastic Gradient Variational Bayes (SGVB) algorithm to analytically approximate the intractable distributions of latent factors of users and items. Experiments conducted on two large datasets have showed our methods significantly outperform the state-of-the-art CF methods, including the VAE-based methods.

연구 동기 및 목표

• 기존 VAE 기반 협업 필터링 방법의 한계를 해결하기 위해, 즉 희소 행렬에서의 성능 부족과 새로운 사용자 또는 아이템에 대한 쿨스타트 문제 해결 불가능성.
• 모든 사용자 및 아이템에 동일한 정규 분포 사전 분포를 사용하는 문제를 해결하여 잠재 표현의 최적화를 향상시키기 위해.
• 사용자 및 아이템의 측면 정보를 잠재 요인의 사전 분포에 통합하여 비선형 사용자-아이템 상호작용을 더 잘 모델링하기 위해.
• 새로운 사용자나 아이템에 대해서도 효과적인 추론과 추천이 가능한 통합적인 딥 생성 프레임워크를 개발하기 위해.
• 신경망을 통해 사용자 및 아이템 잠재 요인의 사전 분포를 각각의 측면 정보에 조건화하여 표현 학습을 향상시키기 위해.

제안 방법

• 사용자 및 아이템의 생성 과정을 함께 모델링하는 통합 조건부 신경망 변동 모델을 제안하고, 변동 오토인코더 프레임워크를 기반으로 한다.
• 사용자 및 아이템의 측면 정보(예: 사용자 특성, 아이템 콘텐츠 등)를 통해 학습 가능한 신경망을 통해 측면 정보에 특화된 사전 분포를 도입한다.
• 모델에 대해 계산이 가능한 변동 하한 경계(ELBO)를 수립하여, backpropagation를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 잠재 요인의 추정이 어려운 사후 분포를 근사하기 위해 확률적 경량 최적화 기반 알고리즘(SGVB)을 유도한다.
• 최적화 안정성과 추천 성능 향상을 위해 훈련 중에 구성 가능한 음성 비율을 사용하여 음성 샘플링을 수행한다.
• ELBO의 재구성 손실 및 KL 발산 항을 동시에 최적화하여, 효과적인 잠재 요인 추론이 가능한 백프로파게이션을 통해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 사용자 및 아이템의 생성 과정을 함께 모델링하는 통합적인 딥 생성 모델이 기존 VAE 기반 방법보다 추천 성능을 향상시킬 수 있는가?
• RQ2 사용자 및 아이템의 측면 정보에 특화된 사전 분포를 통합할 경우, 희소 행렬에서 더 나은 잠재 표현과 성능 향상이 이루어지는가?
• RQ3 제안된 모델이 사전 분포에 측면 정보를 활용함으로써 새로운 사용자나 아이템에 대한 쿨스타트 문제를 효과적으로 해결할 수 있는가?
• RQ4 임베딩 차원과 음성 샘플링 비율과 같은 다양한 하이퍼파rameter에 따라 NVHCF의 성능은 어떻게 변화하는가?
• RQ5 다양한 데이터셋에서 사용자 측면 정보 또는 아이템 측면 정보 중 어느 것이 추천 성능 향상에 더 크게 기여하는가?

주요 결과

• NVHCF는 세 가지 공개 데이터셋(Movielens-100K, Movielens-1M, Last.fm)에서 최신 기술 수준의 협업 필터링 방법, 특히 VAE 기반 모델보다 뚜렷이 뛰어난 성능을 보이며, NDCG@10 및 HR@10 점수 모두 최고를 기록했다.
• Last.fm 데이터셋에서 NVHCF는 HR@10 0.2543과 NDCG@10 0.1782를 기록하여 모든 기준 모델 및 변형 모델을 압도했다.
• Last.fm에서 최적의 임베딩 차원은 150이었고, ML-100K 및 ML-1M에서는 100이었으며, 성능은 차원이 증가함에 따라 향상되었다.
• 음성 샘플링 비율은 성능에 큰 영향을 미쳤으며, 비율이 6에서 8 사이일 때 최적의 성능을 기록했고, 일반적으로 높은 비율일수록 결과가 향상되었다.
• 절단 분석 결과, 사용자 및 아이템의 측면 정보에 특화된 사전 분포를 모두 사용한 NVH 모델이 가장 뛰어난 성능을 보였으며, 하나 또는 전혀 사용하지 않은 변형 모델보다 뛰어났다.
• 영화 데이터셋(Movielens-100K, Movielens-1M)에서는 아이템 측면 정보가 사용자 측면 정보보다 더 강력한 긍정적 영향을 미쳤고, Last.fm에서는 사용자 측면 정보(소셜 네트워크)가 더 효과적이었다.