[논문 리뷰] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|2019. 11. 03.

Recommender Systems and Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 협업 필터링을 위한 변분 오토인코더(VAE)를 향상시키기 위해 민첩한 사전 분포(VampPrior)와 게이팅 메커니즘을 도입하여 추천 성능을 크게 향상시켰다. 표준 가우시안 사전 분포를 더 표현력 있는 사전 분포로 대체하고 학습 가능한 게이팅 유닛을 추가함으로써 깊이 있는 사용자 선호도 모델링이 가능해졌으며, MovieLens 및 Netflix 데이터셋에서 기존의 SOTA VAE 기반 모델을 초월하는 성능을 보였다.

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

연구 동기 및 목표

• 협업 필터링에 적용되는 표준 VAE에서 너무 단순한 사전 분포의 한계를 해결함으로써, 복잡한 사용자 선호 패턴을 포착할 수 있는 능력을 제한하는 문제를 해결한다.
• 깊은 VAE의 훈련을 어려운 과제로 간주함에 따라, 학습 안정성 향상과 깊이 있는 아키텍처 구현을 가능하게 하는 게이팅 메커니즘을 도입함으로써 이 문제를 해결한다.
• 이미지 생성에 개발된 유연한 사전 분포가 협업 필터링에서 추천 성능 향상에 기여할 수 있는지 조사한다.
• 유연한 사전 분포와 게이팅 메커니즘의 조합이 기존의 표준 VAE 및 SOTA 방법보다 뛰어난 성능 향상을 이끌어내는지 입증한다.

제안 방법

• 협업 필터링을 위한 VAE에서 표준 등방향 가우시안 사전 분포의 대안으로, 단순한 분포의 혼합 기반인 민감한 사전 분포(VampPrior)를 채택한다.
• 깊은 층을 통해 정보 흐름을 제어하기 위해 학습 가능한 게이팅 메커니즘을 도입함으로써, 추천 시스템에서 깊은 VAE 아키텍처의 효과적인 훈련을 가능하게 한다.
• 변분 추론 목표를 사용하여 기초 하한값(ELBO)을 최적화하는 방식으로 VAE를 훈련하며, 사용자 잠재 요소의 사전 분포를 VampPrior로 모델링한다.
• 잔차 연결과 게이팅 유닛을 갖춘 깊은 인코더 및 디코더 아키텍처를 사용하여 잠재 공간 내 표현 학습을 향상시킨다.
• 관측된 사용자-아이템 상호작용의 가능도를 복원 항목으로 사용하여, 확률적 경사 하강법을 통해 모델을 종합적으로 최적화한다.
• VampPrior의 매개변수화 방식을 적용하여, 계산 복잡도를 과도하게 증가시키지 않으면서도 더 표현력 있는 사용자 임베딩 사전 분포를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 VAE에서 표준 등방향 가우시안 사전 분포를 VampPrior와 같은 더 민감한 사전 분포로 대체할 경우, 협업 필터링에서 추천 성능 향상이 이루어지는가?
• RQ2 게이팅 메커니즘의 통합이 협업 필터링에서 더 깊은 VAE 아키텍처의 훈련을 가능하게 하여 표현 학습을 향상시키는가?
• RQ3 유연한 사전 분포와 게이팅 메커니즘이 함께 작용할 경우, VAE 기반 추천 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 개선 사항이 MovieLens 및 Netflix와 같은 벤치마크 데이터셋에서 표준 VAE와 기존 SOTA 방법보다 얼마나 뛰어나게 성능을 향상시키는가?

주요 결과

• VampPrior를 민감한 사전 분포로 사용할 경우, 표준 등방향 가우시안 사전 분포를 사용한 VAE보다 추천 성능 향상이 뚜렷하게 이루어진다.
• 게이팅 메커니즘을 통합함으로써 협업 필터링에서 깊은 VAE 아키텍처의 훈련이 가능해졌으며, 이는 이전에 표준 VAE로는 어려웠던 일이다.
• VampPrior와 게이팅 메커니즘의 조합은 MovieLens 및 Netflix 벤치마크 데이터셋에서 SOTA 성능을 달성한다.
• 제안된 모델은 원래의 협업 필터링을 위한 변분 오토인코더를 의미 있는 수준으로 초월하며, 이는 민감한 사전 분포와 깊이 있는 모델링의 효과성을 입증한다.
• 성능 향상은 두 데이터셋 모두에서 일관되게 나타나, 제안된 방법이 다양한 추천 시나리오에 대해 강건하고 일반화 가능한 성능을 보임을 시사한다.
• 결과적으로 표준 VAE에서 너무 단순한 사전 분포가 사용자 선호도의 복잡한 구조를 포착할 능력을 제한할 수 있으며, 이 문제를 민감한 사전 분포가 완화할 수 있음을 시사한다.