[논문 리뷰] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|2019. 11. 03.

Recommender Systems and Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 변분 오토에인코더(VAE)의 협업 필터링 성능을 향상시키기 위해 민감한 사전 분포(VampPrior)와 게이팅 메커니즘을 도입함으로써 크게 향상시켰다. 표준 등방성 가우시안 사전 분포를 더 표현력 있는 VampPrior로 대체하고, 학습 가능한 게이팅 메커니즘을 결합함으로써, MovieLens 및 Netflix 데이터셋에서 기존 최고 성능(SOTA) VAE 기반 모델을 뛰어넘는 성능 향상을 보였다.

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

연구 동기 및 목표

• 표준 VAE가 협업 필터링에 적용될 때, 너무 단순한 등방성 가우시안 사전 분포로 인해 발생하는 한계를 해결하기 위해.
• 구조적 제약을 극복하여 VAE의 깊은 표현 학습을 가능하게 하기 위해.
• 탄력적인 사전 분포와 게이팅 메커니즘이 추천 정확도 및 일반화 능력을 향상시킬 수 있는지 조사하기 위해.
• 실제 세계의 벤치마크 데이터셋을 사용하여 VampPrior와 게이팅의 효과를 경험적으로 검증하기 위해.

제안 방법

• 표준 등방성 가우시안 사전 분포를 대체하기 위해, 국소화된 기저 분포의 혼합을 사용하는 탄력적이고 파rameterized된 사전 분포인 VampPrior를 도입한다.
• 잠재 공간 내 각 사전 분포 성분의 기여도를 동적으로 제어하기 위해 학습 가능한 게이팅 메커니즘을 적용한다.
• 잔차 연결을 지원하는 깊은 아키텍처를 가능하게 하기 위해 VAE의 추론 및 생성 네트워크를 수정한다.
• 재구성 기반 경량화 하한(ELBO) 목적 함수를 사용하여 재구성 기반 경량화 하한(ELBO) 목적 함수를 사용하여 모델을 종합적으로 최적화한다.
• 복잡한 사용자 선호도 분포를 더 효과적으로 모델링하기 위해 학습 가능한 파rameter를 가진 이산적 사전 분포 혼합을 사용한다.
• 입력 사용자-아이템 상호작용에 기반하여 관련된 사전 분포 성분에 주목하는 소프트 게이팅 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 표준 등방성 가우시안 사전 분포를 더 탄력적인 사전 분포로 대체하면, VAE 기반 협업 필터링에서 추천 성능이 향상되는가?
• RQ2 게이팅 메커니즘의 통합이 사용자 선호도 모델링에서 VAE의 표현력과 일반화 능력을 향상시키는가?
• RQ3 탄력적인 사전 분포와 게이팅 메커니즘을 사용하여 협업 필터링에 대해 깊은 VAE 아키텍처를 효과적으로 학습시킬 수 있는가?
• RQ4 VampPrior와 게이팅 메커니즘은 기준 VAE 및 기존 SOTA 모델과 비교해 어떤가?

주요 결과

• VampPrior와 게이팅을 적용한 제안된 모델은 MovieLens 및 Netflix 데이터셋에서 원래 VAE보다 유의미한 성능 향상을 보였다.
• 탄력적인 사전 분포의 사용은 추천 정확도에 상당한 향상을 가져왔으며, 이는 표준 사전 분포가 복잡한 사용자 선호도를 모델링하는 데 너무 제약이 있다는 것을 입증한다.
• 게이팅 메커니즘은 관련된 사전 분포 성분의 분리 및 선택을 향상시켜 표현 학습을 개선했다.
• 이 모델은 MovieLens 및 Netflix 벤치마크에서 최고 성능을 달성하여 이전의 SOTA VAE 기반 방법을 뛰어넘었다.
• 제거 실험 결과, 탄력적인 사전 분포와 게이팅 메커니즘이 성능 향상에 독립적이고 상호보완적인 기여를 했다.