[논문 리뷰] Bayesian Probabilistic Matrix Factorization: A User Frequency Analysis

Cody Severinski, Ruslan Salakhutdinov|arXiv (Cornell University)|2014. 07. 29.

Recommender Systems and Techniques참고 문헌 4인용 수 5

한 줄 요약

이 논문은 이질분산성과 과적합 문제를 해결하기 위해 측면 특징과 잘라낸 정밀도 구조를 갖춘 베이지안 확률적 행렬 분해 모델을 제안한다. 제약 조건이 있는 PMF를 게이블스 샘플링으로 확장하고 잘라낸 정밀도 모델을 도입함으로써, 변분 추론과 표준 MAP 추정보다 성능이 향상되며, 특히 저빈도 사용자에게서 두드러진 성능 향상을 보인다.

ABSTRACT

Matrix factorization (MF) has become a common approach to collaborative filtering, due to ease of implementation and scalability to large data sets. Two existing drawbacks of the basic model is that it does not incorporate side information on either users or items, and assumes a common variance for all users. We extend the work of constrained probabilistic matrix factorization by deriving the Gibbs updates for the side feature vectors for items (Salakhutdinov and Minh, 2008). We show that this Bayesian treatment to the constrained PMF model outperforms simple MAP estimation. We also consider extensions to heteroskedastic precision introduced in the literature (Lakshminarayanan, Bouchard, and Archambeau, 2011). We show that this tends result in overfitting for deterministic approximation algorithms (ex: Variational inference) when the observed entries in the user / item matrix are distributed in an non-uniform manner. In light of this, we propose a truncated precision model. Our experimental results suggest that this model tends to delay overfitting.

연구 동기 및 목표

• 동일분산성을 가정하고 사용자/아이템의 측면 정보를 忽시하는 표준 확률적 행렬 분해의 한계를 해결하기 위해.
• 이질분산 정밀도를 모델링하여 희소하고 균일하지 않은 분포를 띤 평점 데이터에서 과적합에 대한 모델의 강건성을 향상시키기 위해.
• 사용자 빈도와 모델 복잡도의 맥락에서 게이블스 샘플링과 변분 추론의 성능을 평가하기 위해.
• 다양한 평점 빈도를 가진 사용자들에 대해 측면 특징과 정밀도 모델링이 예측 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• 사용자 및 아이템 특징에 대해 공액의 가우시안-와이스하르트 사전분포를 갖는 베이지안 계층 모델을 도입하여 제약 조건이 있는 확률적 행렬 분해(PMF)를 측면 특징으로 확장한다.
• 잠재 특징, 정밀도, 초모수에 대한 사후 추론을 수행하기 위해 게이블스 샘플링을 위한 전반적 조건부 분포를 유도한다.
• 특정 평점 분포가 비균일할 경우 과적합을 줄이기 위해 결정론적 추론에서 과적합을 억제하기 위해 잘라낸 정밀도 모델을 도입한다.
• 정확도와 수렴 행동의 상호 교환 관계를 평가하기 위해 변분 평균장 근사와 게이블스 샘플링을 비교한다.
• 사용자 및 아이템의 편향을 명시적으로 모델링하고, 전역 정밀도와 초모수를 포함하여 강건성을 향상시킨다.
• 모델 매개수를 최적화하기 위해 변분 하한을 사용하며, 과적합 또는 국소 최적값에 갇힐 가능성을 분석한다.

실험 결과

연구 질문

• RQ1 게이블스 샘플링과 변분 추론은 매트릭스 분해 모델에서 예측 성능과 과적합에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ2 측면 특징의 포함이 성능 향상에 얼마나 기여하는가, 특히 평점 수가 적은 사용자에게서는 어떠한가?
• RQ3 승수 요인을 사용한 이질분산 정밀도 모델링이 스튀던트-t 사전분포 또는 고정 정밀도 대비 성능 향상에 기여하는가?
• RQ4 제안된 잘라낸 정밀도 모델은 비균일한 평점 분포 하에서 변분 추론에서 과적합을 얼마나 지연시키는가?
• RQ5 사용자 평점 빈도에 따라 모델 성능은 어떻게 변하는가, 그리고 베이지안 프레임워크는 저빈도 사용자를 더 잘 다룰 수 있는가?

주요 결과

• 게이블스 샘플링은 특히 저빈도 사용자에게서 예측 정확도가 더 높으며, 사후 불확실성의 더 나은 탐색 덕분이다.
• 변분 추론은 사후 분포를 완전히 탐색하지 않기 때문에 과적합되거나 국소 최적값에 갇힐 가능성이 높으며, 주로 변분 하한을 최적화하기 때문이다.
• 측면 특징의 포함은 특히 희소한 평점 데이터를 가진 사용자에게서 사용자 행동의 상관관계를 반영함으로써 성능 향상에 크게 기여한다.
• 승수 요인을 사용한 이질분산 정밀도 모델링은 성능 향상에 기여하지만, 평점 분포가 비균일할 경우 표준 변분 추론은 과적합된다.
• 제안된 잘라낸 정밀도 모델은 정밀도 값의 범위를 제약함으로써 변분 추론에서 과적합을 지연시켜 더 안정적이고 일반화된 예측을 가능하게 한다.
• 측면 특징과 게이블스 샘플링을 통한 전면 사후 추론을 갖춘 제약 조건이 있는 PMF의 베이지안 처리 방식은 MAP 추정보다 더 강건하고 정확한 대안을 제공한다.