[논문 리뷰] Variational Collaborative Learning for User Probabilistic Representation

Kenan Cui, Xu Chen외 2명|arXiv (Cornell University)|2018. 09. 22.

Recommender Systems and Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 사용자-아이템 상호작용과 보조 텍스트 데이터로부터 확률적 사용자 표현을 공동으로 학습하기 위해 두 대의 동기화된 변분 오토에인코더(VAE)를 사용하는 딥 생성 모델인 변분 공동학습(VCM)을 제안한다. 기존 하이브리드 모델이 비동기적 상호 정규화를 사용하는 것과 달리, VCM은 확률적 표현 간의 KL 발산 기반 매칭을 통해 동기화된 이방향 협업을 가능하게 하여 희소 데이터에서 추천 정확도를 크게 향상시킨다.

ABSTRACT

Collaborative filtering (CF) has been successfully employed by many modern recommender systems. Conventional CF-based methods use the user-item interaction data as the sole information source to recommend items to users. However, CF-based methods are known for suffering from cold start problems and data sparsity problems. Hybrid models that utilize auxiliary information on top of interaction data have increasingly gained attention. A few "collaborative learning"-based models, which tightly bridges two heterogeneous learners through mutual regularization, are recently proposed for the hybrid recommendation. However, the "collaboration" in the existing methods are actually asynchronous due to the alternative optimization of the two learners. Leveraging the recent advances in variational autoencoder~(VAE), we here propose a model consisting of two streams of mutual linked VAEs, named variational collaborative model (VCM). Unlike the mutual regularization used in previous works where two learners are optimized asynchronously, VCM enables a synchronous collaborative learning mechanism. Besides, the two stream VAEs setup allows VCM to fully leverages the Bayesian probabilistic representations in collaborative learning. Extensive experiments on three real-life datasets have shown that VCM outperforms several state-of-art methods.

연구 동기 및 목표

• 보조 정보를 통합하여 협업 필터링에서의 냉각기 문제와 데이터 희소성 문제를 해결한다.
• 기존 하이브리드 모델에서 비동기적 상호 정규화의 한계를 극복하여 베이지안 표현을 충분히 활용하지 못하는 문제를 해결한다.
• 사용자 상호작용 데이터와 보조 텍스트 간의 이방향 정보 흐름을 가능하게 하는 동기화된 공동 학습 메커니즘을 개발한다.
• 상호작용 및 보조 데이터 스트림에 대해 모두 변분 오토에인코더를 사용하여 강력한 확률적 사용자 표현 학습을 가능하게 한다.
• 실세계 데이터셋에서 최신 하이브리드 추천 방법에 비해 제안된 모델의 우수성을 입증한다.

제안 방법

• 사용자-아이템 상호작용 데이터(X)용과 사용자 리뷰 텍스트(Y)용으로 나누어 각각 평행적으로 확장된 두 VAE를 사용하여 확률적 사용자 잠재 표현을 학습한다.
• 변분 추론을 사용하여 상호작용 데이터로부터 사용자 잠재 요인의 진짜 사후 분포를 근사하며, 점 추정 대신 전체 베이지안 추론을 적용한다.
• 각 훈련 반복에서 두 VAE의 잠재 분포 간의 KL 발산을 최소화함으로써 동기화된 공동 학습 메커니즘을 도입하여 표현을 정렬한다.
• CF를 위한 VAE에서 KL 발산을 유지된 정보의 상한선으로 간주하여 사용자 수준의 용량 제어를 가능하게 하고, 희소 데이터에서 과적합을 줄인다.
• VAE의 유연성을 활용하여 다양한 보조 입력(예: 텍스트, 이미지)을 통합함으로써 다중 모odal을 프레임워크 내에서 통합한다.
• 통합된 변분 하한선(ELBO) 하에서 상호작용 및 리뷰 데이터의 공동 가능도를 최적화하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비동기적 상호 정규화보다 동기화된 공동 학습 메커니즘이 하이브리드 추천 모델에서 더 우수한 성능을 내는가?
• RQ2 VAE를 통한 확률적 사용자 표현 학습이 희소한 사용자 상호작용 데이터에서 추천 성능을 향상시키는가?
• RQ3 상호작용 데이터와 텍스트 데이터 간의 이방향 정보 흐름이 표현 품질과 추천 정확도를 얼마나 향상시키는가?
• RQ4 제안된 모델은 상호작용 기록이 제한된 냉각기 사용자에 대해 점 추정 또는 비확률적 모델보다 어떻게 대응하는가?
• RQ5 아키텍처 변경 없이 다양한 보조 데이터 모달리티(예: 텍스트, 이미지)로 일반화되는가?

주요 결과

• VCM은 실세계 데이터셋 세 개(Yelp, Amazon, MovieLens)에서 최신 기술 모델인 CVAE와 CDL보다 뚜렷이 뛰어난 성능을 보이며, 더 높은 추천 정확도를 입증한다.
• 제거 분석 결과, 동기화된 공동 학습 메커니즘이 성능 향상의 주요 기여 요소임을 확인하였으며, 단일 방향 정규화만을 갖는 모델보다 뛰어난 성능을 보였다.
• 표현 품질 향상: VCM의 텍스트 데이터용 VAE는 협업을 통해 더 의미 있는 키워드(예: 'vegetarian', 'healthy')를 학습하는 반면, VCM-Se(제거 변형)는 관련 없는 단어에 높은 확률을 할당한다.
• CF를 위한 VAE에서의 KL 발산 정규화는 과적합을 방지하고 일반화 능력을 향상시키는 용량 제어 기능을 수행하며, 특히 신호가 희소한 비활성 사용자에게서 유의미한 효과가 있다.
• 다양한 희소성 수준을 가진 데이터셋에서 안정적인 성능을 기록하여, 실제 냉각기 시나리오에 대한 강력한 일반화 능력과 확장성을 입증한다.
• 단어 확률의 시각화 결과, 협업 학습이 양 모달리티에서 학습된 표현의 해석 가능성과 관련성 향상에 기여함을 확인하였다.