[논문 리뷰] Temporal Matrix Factorization for Tracking Concept Drift in Individual User Preferences

Yung-Yin Lo, Wanjiun Liao외 1명|arXiv (Cornell University)|2015. 10. 18.

Recommender Systems and Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 사용자 선호도를 추적하기 위해 수정된 확률적 경사 하강법을 사용하여 시간에 따라 변화하는 사용자 잠재 벡터를 학습하고, Lasso 회귀를 통해 전이를 모델링함으로써 개념 드리프트를 추적하는 새로운 방법인 시간적 행렬 분해(TMF)를 제안한다. TMF는 합성 데이터에서 최대 26% 향상, Ciao에서 5% 향상된 성능을 보이며, 실제로 선호도 드리프트를 경험하는 사용자에게서 뚜렷한 성능 향상을 기록한다.

ABSTRACT

The matrix factorization (MF) technique has been widely adopted for solving the rating prediction problem in recommender systems. The MF technique utilizes the latent factor model to obtain static user preferences (user latent vectors) and item characteristics (item latent vectors) based on historical rating data. However, in the real world user preferences are not static but full of dynamics. Though there are several previous works that addressed this time varying issue of user preferences, it seems (to the best of our knowledge) that none of them is specifically designed for tracking concept drift in individual user preferences. Motivated by this, we develop a Temporal Matrix Factorization approach (TMF) for tracking concept drift in each individual user latent vector. There are two key innovative steps in our approach: (i) we develop a modified stochastic gradient descent method to learn an individual user latent vector at each time step, and (ii) by the Lasso regression we learn a linear model for the transition of the individual user latent vectors. We test our method on a synthetic dataset and several real datasets. In comparison with the original MF, our experimental results show that our temporal method is able to achieve lower root mean square errors (RMSE) for both the synthetic and real datasets. One interesting finding is that the performance gain in RMSE is mostly from those users who indeed have concept drift in their user latent vectors at the time of prediction. In particular, for the synthetic dataset and the Ciao dataset, there are quite a few users with that property and the performance gains for these two datasets are roughly 20% and 5%, respectively.

연구 동기 및 목표

• 추천 시스템에서 시간에 따라 변화하는 사용자 선호도를 포착하지 못하는 정적 행렬 분해의 한계를 해결하기 위해.
• 특히 개념 드리프트를 고려한 시간에 따라 변화하는 개별 사용자 선호도의 진화를 체계적으로 모델링하기 위한 방법을 개발하기 위해.
• 각 시간 단계에서 사용자 잠재 벡터를 갱신함으로써 희소하고 동적인 환경에서 평가 예측 오차를 줄이기 위해.
• 실제로 선호도 드리프트를 보이는 사용자에 집중하여 계산 자원을 효율적으로 활용하기 위해.
• 기존의 동적 MF 방법들에 비해 훨씬 더 많은 초모수 조정이 필요로 하지 않는 체계적인 대안을 제공하기 위해.

제안 방법

• 각 시간 단계에서 개별 사용자 잠재 벡터를 학습하기 위해 수정된 확률적 경사 하강법(SGD)을 사용하며, 전역 데이터와 시간별 데이터를 모두 통합하여 데이터 희소성 문제를 완화한다.
• 각 사용자의 잠재 벡터가 시간에 따라 선형적으로 전이되는 방식을 모델링하기 위해 Lasso 회귀를 적용하여 희소하고 해석 가능한 전이 패tern을 도출한다.
• 사용자 및 아이템 잠재 요인을 동시에 최적화하면서 각 시간 창마다 사용자 벡터를 동적으로 갱신함으로써 시간적 동역학을 유지한다.
• 전이 모델은 사용자별로 학습되므로, 동일한 전이 행동을 가정하지 않고도 개인 맞춤형 개념 드리프트 추적을 가능하게 한다.
• 기존의 행렬 분해 프레임워크에 통합되어 표준 MF에 시간적 적응성을 추가하면서도 확장성은 유지한다.
• 실행 시간 분석을 통해 이론적 효율성이 입증되었으며, MATLAB로 구현했을 경우 표준 MF와 유사한 추가 오버헤드를 보였다.

실험 결과

연구 질문

• RQ1 동적 행렬 분해 접근법이 시간에 따라 변화하는 사용자 선호도의 개념 드리프트를 효과적으로 추적할 수 있는가?
• RQ2 TMF의 성능은 합성 데이터와 실제 데이터셋 모두에서 정적 행렬 분해 대비 RMSE 측면에서 어떻게 비교되는가?
• RQ3 성능 향상 정도가 실제로 선호도 드리프트를 겪는 사용자와 얼마나 관련이 있는가?
• RQ4 이 방법은 실제로 개념 드리프트를 겪고 있는 사용자를 효율적으로 식별하고, 이를 중심으로 집중함으로써 예측 정확도를 향상시킬 수 있는가?
• RQ5 특히 평가 수가 적은 사용자에게서 시간 단위로 데이터 희소성이 발생할 경우, 이 방법은 어떻게 대처하는가?

주요 결과

• 표준 행렬 분해 대비 합성 데이터셋에서 TMF는 RMSE를 17~26% 상대적으로 향상시켰다.
• Ciao 데이터셋에서는 TMF가 RMSE를 약 5% 감소시켰으며, 성능 향상은 실제로 개념 드리프트를 경험하는 사용자 집단에 집중되어 있었다.
• RMSE 향상의 대부분은 실제 선호도 드리프트를 보이는 사용자들 덕분이었으며, 이는 방법이 동적 사용자들을 효과적으로 타겟팅함을 시사한다.
• 신분 전이 행렬(드리프트 없음)을 가진 사용자들은 성능 향상에 거의 기여하지 않아, 이러한 사용자를 걸러내는 방식으로 최적화가 가능할 것임을 시사한다.
• 계산 가능성을 유지하였으며, MATLAB로 구현했을 경우 표준 MF와 유사한 실행 시간 오버헤드를 보였다.
• 냉각 기간 사용자들은 아이템 잠재 요인 추정에 의미 있는 기여를 하였으며, 이는 초기 평가가 다른 사용자들의 예측을 향상시키는 데 유용하다는 것을 의미한다.