[논문 리뷰] Variational Autoencoders for Collaborative Filtering

Dawen Liang, Rahul G. Krishnan외 2명|arXiv (Cornell University)|2018. 02. 16.

Recommender Systems and Techniques참고 문헌 46인용 수 66

한 줄 요약

논문은 암시적 피드백에 대해 다항 로지스틱 모델을 사용한 다변량 VAE를 협업 필터링에 확장하고, 베타-정규화된 ELBO와 어닐링을 도입하여 실제 데이터 세트에서 최첨단 성능을 달성한다.

ABSTRACT

We extend variational autoencoders (VAEs) to collaborative filtering for implicit feedback. This non-linear probabilistic model enables us to go beyond the limited modeling capacity of linear factor models which still largely dominate collaborative filtering research.We introduce a generative model with multinomial likelihood and use Bayesian inference for parameter estimation. Despite widespread use in language modeling and economics, the multinomial likelihood receives less attention in the recommender systems literature. We introduce a different regularization parameter for the learning objective, which proves to be crucial for achieving competitive performance. Remarkably, there is an efficient way to tune the parameter using annealing. The resulting model and learning algorithm has information-theoretic connections to maximum entropy discrimination and the information bottleneck principle. Empirically, we show that the proposed approach significantly outperforms several state-of-the-art baselines, including two recently-proposed neural network approaches, on several real-world datasets. We also provide extended experiments comparing the multinomial likelihood with other commonly used likelihood functions in the latent factor collaborative filtering literature and show favorable results. Finally, we identify the pros and cons of employing a principled Bayesian inference approach and characterize settings where it provides the most significant improvements.

연구 동기 및 목표

• Variational autoencoder를 암시적 피드백에 대한 협업 필터링으로 확장한다.
• 클릭 데이터와 랭킹 손실을 더 잘 모델링하기 위해 다항 로지 likelihood를 채택한다.
• 성능 향상을 위한 베타-정규화 ELBO에 어닐링을 도입한다.
• Multinomial VAE를 Gaussian 및 로지스틱 기반 베이스라인과 비교하고 베이지안 추론의 이점을 분석한다.

제안 방법

• 생성 모델: latent z_u ~ N(0,I) 를 비선형 함수 f_theta 를 통해 I 아이템에 대한 확률로 매핑한 뒤 x_u ~ Mult(N_u, pi(z_u)).
• 추론: amortized 변량 포스터리어 q_phi(z_u|x_u) ~ N(mu_phi(x_u), diag(sigma_phi^2(x_u))).
• 최적화: 그래디언트를 위한 재매개화 트릭으로 증거 하한 ELBO를 최대화하고 KL 항을 규제하기 위해 beta를 도입한다.
• Beta-정규화 목적함수: L_beta = E_q[log p_theta(x_u|z_u)] - beta * KL(q_phi(z_u|x_u)||p(z_u)); 학습을 향상시키기 위해 beta를 0에서 1로 어닐한다.
• 예측: z_u = mu_phi(x_u) (또는 Mult-DAE의 인코더에서 얻은 z)를 사용하여 비정규화된 다항 확률로 아이템 순위를 매긴다.
• 주요 메모: 대규모 아이템 집합에 대한 계산 고려사항을 다루고 이 접근 방식을 autoencoder 분류에 연결한다니.

실험 결과

연구 질문

• RQ1 다항 로지스틱 likelihood가 암시적 피드백 데이터에서 순위 지향 평가를 Gaussian 또는 로지스틱 likelihood보다 개선하는가?
• RQ2 KL 어닐링이 있는 베타-정규화 VAE가 협업 필터링에서 표준 VAE 학습보다 더 나은 랭킹 지표를 제공하는가?
• RQ3 Mult-VAE-pr은 실세계 데이터 세트에서 denoising autoencoder 및 다른 신경망 기반 CF 방법과 어떻게 비교되는가?
• RQ4 명시적 불확실성 모델링(Mult-VAE-pr)과 결정론적 인코더(Mult-DAE) 간의 추천에서의 트레이드오프는 무엇인가?

주요 결과

• Mult-VAE-pr은 최근 신경망 기반 접근법을 포함한 베이스라인과 비교하여 여러 실제 데이터 세트에서 최첨단 결과를 달성한다.
• 다항 로지스틱 likelihood는 이 설정에서 암시적 피드백에 대해 Gaussian 및 로지스틱 likelihood보다 일관되게 우수하다.
• Mult-VAE-pr과 Mult-DAE 모두 경쟁력 있는 성능을 제공하며, 명시적 불확실성 모델링은 특정 환경에서 이점을 제공한다.
• 베타 어닐링은 잠재 공간의 저활용을 피하기 위해 결정적으로 중요하며 성능 향상을 가져오고, 보통 검증 지표의 피크를 선택하기 전에 어닐링을 수행하는 것이 최상의 결과를 낸다.
• 이 접근법은 정보 이론적 아이디어(정보 병목, 최대 엔트로피 판별)와 연결되며 데이터 희소성에서도 강인하게 작동한다.