[논문 리뷰] Dynamic Matrix Factorization with Priors on Unknown Values

Robin Devooght, Nicolas Kourtellis외 1명|arXiv (Cornell University)|2015. 07. 23.

Recommender Systems and Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 알려지지 않은 평점이 일반적으로 낮을 것(0에 가까울 것)이라는 사전 정보를 명시적으로 모델링하는 동적 행렬 분해 프레임워크를 제안한다. 이는 추천 순위 성능을 향상시키며, 데이터 크기와 무관한 복잡도를 가지는 효율적인 온라인 업데이트 알고리즘을 도입하여 새로운 사용자 및 항목에 대한 실시간 추천을 가능하게 한다. 이는 정적 및 동적 환경에서 세 개의 대규모 희소 데이터셋에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Advanced and effective collaborative filtering methods based on explicit feedback assume that unknown ratings do not follow the same model as the observed ones (\emph{not missing at random}). In this work, we build on this assumption, and introduce a novel dynamic matrix factorization framework that allows to set an explicit prior on unknown values. When new ratings, users, or items enter the system, we can update the factorization in time independent of the size of data (number of users, items and ratings). Hence, we can quickly recommend items even to very recent users. We test our methods on three large datasets, including two very sparse ones, in static and dynamic conditions. In each case, we outrank state-of-the-art matrix factorization methods that do not use a prior on unknown ratings.

연구 동기 및 목표

• 실제 추천 시스템에서 흔히 현실적이지 않은 '결측 평점이 무작위로 결측'이라는 가정을 하는 표준 행렬 분해 방법의 한계를 해결한다.
• 결측 평점을 무작위가 아니라 일반적으로 낮은 값일 것이라는 직관에 기반해, 사용자가 가용 항목의 소수에만 참여하는 경향이 있음을 반영하여 알려지지 않은 평점을 낮은 값으로 모델링한다.
• 새로운 평점, 사용자 또는 항목이 도착할 때마다 상수 시간 복잡도로 인한 요소 분해를 업데이트할 수 있는 효율적인 온라인 학습 메커니즘을 개발한다.
• 예측 오차(RMSE 등)가 아닌 순위 평가 지표(AUC, NDCG 등)를 기반으로 추천 성능을 향상시켜 현대의 평가 기준과 일치시킨다.
• 다양하고 대규모이며 희소한 실제 데이터셋에서 정적 및 동적 환경 모두에서 알려지지 않은 값에 대한 명시적 사전 정보의 효과를 입증한다.

제안 방법

• 제곱 손실, 절대 손실, 일반화된 쿨백-라이블러 발산 손실의 세 가지 일반적인 손실 함수를 확장하여, 알려지지 않은 평점이 0에 가까울 가능성이 높다는 명시적 사전 정보를 통합한다.
• 좌표 강하를 사용하여 사용자 및 항목 잠재 요소의 닫힌 형식의 업데이트 규칙을 유도함으로써 근사 없이 정확한 기울기 계산이 가능하도록 한다.
• 총 사용자, 항목 및 평점 수와 무관한 상수 시간 복잡도를 유지하는 온라인 업데이트 메커니즘을 설계한다.
• 결측 데이터를 명시적으로 다루면서 목적 함수를 효율적으로 최적화하기 위해 랜덤 샘플링을 통한 블록 좌표 강하 접근법을 사용한다.
• 알려지지 않은 평점에 대한 예측 값이 크지 않게 하기 위해 정규화 항을 추가함으로써 최적화 과정에 사전 정보를 통합한다.
• 효율적인 솔버(예: ALS-UV, Mult-NMF)를 구현하고, 확장성과 재현 가능성을 위해 GraphChi 및 Vowpal Wabbit 등의 오픈소스 도구를 활용한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 평점을 일반적으로 낮은 값(0에 가까운 값)으로 명시적으로 모델링하는 것이 표준 행렬 분해 대비 추천 순위 성능 향상에 기여하는가?
• RQ2 알려지지 않은 평점에 사전 정보를 통합함으로써 희소하고 동적 환경에서의 일반화 및 강인성 향상이 이루어지는가?
• RQ3 새로운 사용자, 항목 또는 평점이 도착할 때 전체 데이터셋을 다시 학습하지 않고도 실시간으로 모델을 효율적으로 업데이트할 수 있는가?
• RQ4 제안된 방법의 성능은 대규모 희소 데이터셋에서 최신 기술의 행렬 분해 기법 대비 순위 평가 지표(AUC, NDCG 등)에서 어떻게 비교되는가?
• RQ5 사전 강도(하이퍼파라미터 ρ)는 동적 환경에서 수렴 속도와 추천 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Movielens 및 Amazon 리뷰를 포함한 세 개의 대규모 희소 데이터셋에서 순위 평가 지표(AUC, NDCG)에서 최신 기술의 행렬 분해 기법을 일관되게 능가한다.
• 알려지지 않은 평점에 대한 사전 정보의 통합은 특히 희소 환경에서 성능 향상에 기여하며, 관측된 평점에 대한 과적합을 방지하는 효과적인 정규화 역할을 한다.
• 온라인 업데이트 메커니즘은 데이터 크기와 무관하게 상수 시간 복잡도를 달성하여 매우 최근 사용자에게도 저지연 추천이 가능하다.
• 알고리즘의 실행 시간은 주로 잠재 특성 수에 의존하며, 정규화 강도나 알려진 평점 대비 알려지지 않은 평점 비율에 의해 약하게 영향을 받는다.
• 사전 강도(ρ)는 수렴 속도에 영향을 미치며, 높은 ρ 값일수록 더 강한 0으로 향하는 정규화로 인해 더 빠른 수렴을 이끈다.
• 이 방법은 높은 재현 가능성과 확장성을 보이며, 오픈소스 코드와 함께 GraphChi 및 Vowpal Wabbit와 같은 고성능 도구와의 통합을 통해 구현 가능성이 높다.