[논문 리뷰] A Hybrid Variational Autoencoder for Collaborative Filtering

Kilol Gupta, Mukund Yelahanka Raghuprasad외 1명|arXiv (Cornell University)|2018. 07. 14.

Recommender Systems and Techniques참고 문헌 12인용 수 10

한 줄 요약

이 논문은 Movielens 20M 데이터셋을 사용하여 보조 소스—예를 들어 IMDb 개요, 게놈 태그, 장르—로부터의 영화 임베딩을 협업 필터링 프레임워크에 통합하는 하이브리드 변분 오토에인코더(H-VAE)를 제안한다. 다중 모odal VAE 아키텍처에서 이러한 임베딩을 사용자 평점과 융합함으로써 표준 VAE보다 추천 성능을 향상시킨다. 특히 IMDb 기반 임베딩이 NDCG@100(0.271)과 Recall@50(0.572)에서 가장 높은 향상을 보이며, 풍부하고 감성 인식 기능을 갖춘 콘텐츠 특징이 사용자-아이템 상호작용 모델링을 향상시킨다는 것을 입증한다.

ABSTRACT

In today's day and age when almost every industry has an online presence with users interacting in online marketplaces, personalized recommendations have become quite important. Traditionally, the problem of collaborative filtering has been tackled using Matrix Factorization which is linear in nature. We extend the work of [11] on using variational autoencoders (VAEs) for collaborative filtering with implicit feedback by proposing a hybrid, multi-modal approach. Our approach combines movie embeddings (learned from a sibling VAE network) with user ratings from the Movielens 20M dataset and applies it to the task of movie recommendation. We empirically show how the VAE network is empowered by incorporating movie embeddings. We also visualize movie and user embeddings by clustering their latent representations obtained from a VAE.

연구 동기 및 목표

• 표준 VAE 프레임워크에 풍부하고 비선형적인 아이템 컨텍스트 특징을 통합하여 협업 필터링 성능을 향상시키는 것.
• 텍스트 요약, 태그 또는 장르에서 유도된 보조 영화 임베딩이 평점 외의 정보를 통해 사용자-아이템 상호작용을 모델링하는 데 기여하는지 조사하는 것.
• IMDb, 게놈, 장르와 같은 다양한 임베딩 소스가 추천 품질 향상에 얼마나 효과적인지 평가하는 것.
• 성능 향상이 아키텍처의 복잡성이나 무작위 초기화가 아니라 의미 있는 의미적 콘텐츠 때문임을 검증하는 것.
• 개인화된 추천을 위한 딥 생성 모델에 고차원적 아이템 특징을 통합할 수 있는 유연하고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 이중 단계 VAE 아키텍처를 사용한다: 형제 VAE는 IMDb, 게놈, 장르와 같은 보조 특징에서 영화 임베딩을 학습하고, 주 VAE는 융합된 표현을 사용하여 사용자 평점을 모델링한다.
• 사용자 평점을 이진화한다(평가가 3.5 이상이면 1, 이외에는 0)로 암시적 피드백을 모델링하고 VAE 재구성 손실을 통해 확률적 출력을 가능하게 한다.
• 하이브리드 VAE는 사용자 평점 벡터와 학습된 영화 임베딩을 입력으로 통합하여 사용자 선호도와 아이템 의미론을 함께 모델링한다.
• 강건한 평가를 위해 삼중 교차 검증을 사용하며, NDCG@100, Recall@20, Recall@50 등의 지표를 폴드 평균으로 평가한다.
• t-SNE를 활용한 임베딩 시각화를 통해 사용자 및 영화의 잠재 공간에서의 군집 패턴을 분석하여 모델의 해석 가능성 평가를 수행한다.
• 제거 실험을 통해 무작위 임베딩을 사용한 성능을 비교하여 성능 향상이 의미 있는 특징 표현 때문임을 확인한다.

실험 결과

연구 질문

• RQ1 IMDb, 게놈 또는 장르에서 유도된 외부 영화 임베딩을 통합함으로써 변분 오토에인코더의 협업 필터링 성능이 향상되는가?
• RQ2 텍스트 요약, 게놈 태그 또는 장르 중 어떤 종류의 보조 특징이 추천에 가장 효과적인 영화 임베딩을 생성하는가?
• RQ3 임베딩을 사용한 성능 향상은 의미 있는 의미적 콘텐츠 때문인지, 단지 모델 용량 증가 때문인가?
• RQ4 학습된 사용자 및 영화 임베딩은 실질적인 시청 행동 패턴과 영화 특성에 어떻게 반영되는가?
• RQ5 이 하이브리드 VAE 프레임워크는 풍부한 아이템 측 특징을 갖는 다른 추천 작업에 일반화될 수 있는가?

주요 결과

• IMDb 기반 임베딩을 사용한 하이브리드 VAE(H-VAE)가 NDCG@100 최고 점수 0.271을 기록하여 표준 VAE(0.267) 및 다른 H-VAE 변종보다 유의미하게 뛰어나다.
• H-VAE가 IMDb 특징을 사용할 경우 Recall@50가 0.572로 나타나 표준 VAE의 0.562 및 장르 특징을 사용한 H-VAE의 0.531보다 뚜렷한 향상을 보였다.
• 무작위 임베딩을 사용한 H-VAE는 표준 VAE보다 성능이 열 劣하므로, 성능 향상이 의미 있는 콘텐츠 표현 때문임을 확인한다.
• IMDb 요약에서 유도된 영화 임베딩는 장르나 게놈 태그보다 감정과 정서를 더 효과적으로 포착하여 사용자 선호도와 더 잘 일치한다.
• 시각화 결과에서 장르별로 영화가 명확하게 군집되고, 시청 패턴에 따라 사용자도 군집되는 것으로 나타나, 모델이 의미 있는 잠재 표현을 학습하고 있음을 시사한다.
• 게놈 태그 특징 집합은 장르보다 성능이 뛰어나지만 IMDb보다는 열 劣하여, 세밀하고 기술적인 태그가 넓은 카테고리 레이블보다 더 유용함을 시사한다.