[논문 리뷰] Weighted-SVD: Matrix Factorization with Weights on the Latent Factors

Hung‐Hsuan Chen|arXiv (Cornell University)|2017. 10. 02.

Recommender Systems and Techniques참고 문헌 14인용 수 15

한 줄 요약

이 논문은 SVD의 잠재 요인들에 대해 학습 가능한 가중치를 부여하는 행렬 분해 모델인 Weighted-SVD를 제안한다. 이는 서로 다른 요인이 평점 예측에 비균형적으로 기여하도록 허용하며, 선형 회귀를 SVD에 통합함으로써 다섯 개의 벤치마크 데이터셋에서 SVD, SVD++, 및 PMF보다 더 높은 예측 정확도를 달성한다. 학습 복잡도는 약간 증가할 뿐이며, 일관되게 베이스라인 모델을 능가한다.

ABSTRACT

The Matrix Factorization models, sometimes called the latent factor models, are a family of methods in the recommender system research area to (1) generate the latent factors for the users and the items and (2) predict users' ratings on items based on their latent factors. However, current Matrix Factorization models presume that all the latent factors are equally weighted, which may not always be a reasonable assumption in practice. In this paper, we propose a new model, called Weighted-SVD, to integrate the linear regression model with the SVD model such that each latent factor accompanies with a corresponding weight parameter. This mechanism allows the latent factors have different weights to influence the final ratings. The complexity of the Weighted-SVD model is slightly larger than the SVD model but much smaller than the SVD++ model. We compared the Weighted-SVD model with several latent factor models on five public datasets based on the Root-Mean-Squared-Errors (RMSEs). The results show that the Weighted-SVD model outperforms the baseline methods in all the experimental datasets under almost all settings.

연구 동기 및 목표

• 기존 행렬 분해 모델이 모든 잠재 요인이 사용자 평점에 동일하게 기여한다고 가정하는 한계를 해결하기 위해.
• 학습 가능한 가중치를 통해 잠재 요인이 다양한 영향을 미칠 수 있도록 허용함으로써 추천 시스템의 예측 정확도를 향상시키기 위해.
• 표준 SVD 및 SVD++보다 뛰어난 성능을 내면서도 낮은 계산 복잡도를 유지하는 모델을 개발하기 위해.
• 학습 중에 덜 중요한 요소들이 자동으로 가중치가 낮아지도록 하여 차원 수의 자동 선택을 가능하게 하기 위해.

제안 방법

• 모델는 SVD를 확장하여 각 잠재 요인에 대해 학습 가능한 가중치 벡터를 도입함으로써 예측 공식을 수정하여 잠재 요인 내적의 가중된 기여를 포함한다.
• 예측 점수는 다음과 같이 계산된다: $\hat{r}_{ij} = \bar{r} + b_i^{(U)} + b_j^{(I)} + \sum_{d=1}^k w_d \cdot p_{i,d} q_{j,d} $, 여기서 $w_d$ 는 각 잠재 차원에 대한 학습된 가중치이다.
• SGD와 같은 최적화 기법을 사용하여 모든 파라미터—사용자 편향, 아이템 편향, 잠재 요인, 가중치—를 동시에 업데이트함으로써 모델을 학습시킨다.
• 학습 데이터 크기와 비례하는 선형 시간 복잡도를 유지하므로 확장성과 효율성이 뛰어나다.
• 이 방법은 SVD를 넘어서 다른 행렬 분해 모델, 예를 들어 SVD++ 및 PMF 등으로 일반화할 수 있다.
• 학습 과정에서 덜 중요한 잠재 요인들이 자동으로 가중치가 낮아지므로, 요인 수의 수동적 하이퍼파라미터 튜닝이 줄어든다.

실험 결과

연구 질문

• RQ1 잠재 요인들에 대해 학습 가능한 가중치를 할당하면 추천 시스템에서 행렬 분해 모델의 예측 성능을 향상시킬 수 있는가?
• RQ2 제안된 Weighted-SVD 모델은 다양한 공개 데이터셋에서 SVD, SVD++, 및 PMF보다 더 높은 정확도를 달성하는가?
• RQ3 가중 잠재 요인을 포함함으로써 기존 방법과 비교해 모델의 학습 시간과 계산 복잡도에 어떤 영향을 미치는가?
• RQ4 모델은 덜 관련성이 있는 잠재 요인들을 자동으로 식별하고 억제함으로써 잠재 차원 수의 수동 튜닝 필요성을 줄일 수 있는가?

주요 결과

• Weighted-SVD는 MovieLens-100K, MovieLens-1M, MovieLens-10M, FilmTrust, 및 Epinions의 다섯 개의 벤치마크 데이터셋에서 모든 테스트 설정에서 SVD, SVD++, 및 PMF를 모두 능가한다.
• 모든 베이스라인 모델보다 낮은 루트 평균 제곱 오차(RMSE)를 기록하여 평점 예측 정확도 향상의 일관성 있는 증거를 제시한다.
• Weighted-SVD의 학습 시간은 SVD와 비교해 약간 높을 뿐이며, 데이터 크기와 선형적으로 증가하므로 강력한 확장성을 보인다.
• 학습된 가중치는 가장 영향력 있는 잠재 요인들이 덜 중요한 요인들보다 수십 배에서 수백 배 더 큰 영향을 미칠 수 있음을 보여주며, 모델 설계의 타당성을 입증한다.
• 학습 과정에서 덜 중요한 차원들이 자연스럽게 가중치가 낮아지므로, 잠재 요인 수의 수동적 하이퍼파라미터 튜닝이 줄어든다.
• 이 방법은 일반화 가능하며 SVD++ 및 PMF와 같은 다른 행렬 분해 모델에 적용할 수 있어 추천 시스템 분야에서 넓은 적용 가능성을 보인다.