[논문 리뷰] Fast Matrix Factorization for Online Recommendation with Implicit Feedback

Xiangnan He, Hanwang Zhang외 2명|arXiv (Cornell University)|2017. 08. 16.

Recommender Systems and Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 암시적 피드백을 위한 온라인 추천을 위한 빠른 행렬 분해 알고리즘 eALS를 제안한다. 이 알고리즘은 항목 인기도에 따라 누락 데이터에 가중치를 적용함으로써 효율적인 최적화와 실시간 증분 업데이트를 가능하게 한다. 균일한 가중치나 학습률 튜닝에 의존하지 않으면서도 사용자 선호도를 효과적으로 모델링함으로써, 오프라인 및 온라인 환경에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper contributes improvements on both the effectiveness and efficiency of Matrix Factorization (MF) methods for implicit feedback. We highlight two critical issues of existing works. First, due to the large space of unobserved feedback, most existing works resort to assign a uniform weight to the missing data to reduce computational complexity. However, such a uniform assumption is invalid in real-world settings. Second, most methods are also designed in an offline setting and fail to keep up with the dynamic nature of online data. We address the above two issues in learning MF models from implicit feedback. We first propose to weight the missing data based on item popularity, which is more effective and flexible than the uniform-weight assumption. However, such a non-uniform weighting poses efficiency challenge in learning the model. To address this, we specifically design a new learning algorithm based on the element-wise Alternating Least Squares (eALS) technique, for efficiently optimizing a MF model with variably-weighted missing data. We exploit this efficiency to then seamlessly devise an incremental update strategy that instantly refreshes a MF model given new feedback. Through comprehensive experiments on two public datasets in both offline and online protocols, we show that our eALS method consistently outperforms state-of-the-art implicit MF methods. Our implementation is available at https://github.com/hexiangnan/sigir16-eals.

연구 동기 및 목표

• 암시적 피드백 행렬 분해에서 누락 데이터에 대한 균일한 가중치의 한계를 해결하기 위해, 인기 없는 항목의 정보성에 대한 과소평가 문제를 해결한다.
• 속도를 희생시키지 않은 채 비균일 가중치를 가진 누락 데이터를 처리할 수 있는 효율적인 최적화 알고리즘을 개발한다.
• 동적인 사용자-항목 상호작용에 대응하기 위해 증분 업데이트 전략을 설계함으로써 실시간 온라인 학습을 가능하게 한다.
• 기울기 기반 방법에서 온라인 MF의 주요 병목 현상인 학습률 튜닝이 필요 없는 것을 제거한다.
• 새로운 피드백에 대한 적응형 가중치를 통해 단기 및 장기 사용자 선호도를 균형 있게 모델링함으로써 추천 품질을 향상시킨다.

제안 방법

• 누락 항목에 대해 항목 인기도 비례로 가중치를 할당하는 인기도 인식 가중치 기법을 제안하며, 이는 진정한 음성 예측의 가능성성을 반영한다.
• eALS(eALS, 요소별 교대 최소 제곱법)를 개발하여 메모이제이션을 활용해 각 업데이트당 O(K) 시간 복잡도를 달성한다. 여기서 K는 잠재 요인의 수이다.
• 새로운 피드백 수신 시 모델 파라미터를 효율적으로 업데이트할 수 있는 증분 업데이트 메커니즘을 도입하여 실시간 적응을 가능하게 한다.
• 각 좌표 업데이트 단계에서 정확한 최소 제곱 해를 사용함으로써 학습률 하이퍼파rameter를 제거하여 비용이 많이 드는 선색색을 피한다.
• 새로운 상호작용에 대한 동적 가중치를 가능하게 하기 위해 eALS 프레임워크를 확장하며, 단기 및 장기 사용자 선호도를 균형 있게 조절할 수 있는 조정 가능한 파라미터 $w_{\text{new}}$ 를 도입한다.
• 사용자 및 항목 요인에 대해 좌표 강하 접근법을 사용하며, 계산적으로 효율적이고 확장 가능한 닫힌 형태의 업데이트를 구현한다.

실험 결과

연구 질문

• RQ1 항목 인기도에 기반한 비균일한 누락 데이터 가중치는 암시적 피드백 환경에서 행렬 분해 모델의 정확도를 향상시킬 수 있는가?
• RQ2 다양한 가중치를 가진 누락 데이터를 처리할 수 있는 효율적인 최적화 알고리즘을 설계할 수 있는가, 이로 인한 계산 오버헤드는 최소한으로 유지되는가?
• RQ3 제안된 eALS 알고리즘은 온라인 추천 시스템에서 실시간 증분 업데이트를 지원하는가?
• RQ4 eALS는 오프라인 및 온라인 추천 벤치마크에서 기존 최신 기술보다 뛰어난 성능을 발휘하는가?
• RQ5 새로운 피드백에 대한 적응형 가중치는 사용자 단기 선호도와 장기 선호도의 모델링에 어떤 영향을 미치는가?

주요 결과

• eALS는 업데이트당 O(K) 시간 복잡도를 달성하여 표준 ALS 대비 K배 빠르며, 동적 MF 방법과 유사한 성능을 보이며 실시간 배포가 가능하다.
• 온라인 학습에서 eALS는 아마존 및 유프 데이터셋에서 RCD 및 BPR을 일관되게 능가하며, 통계적으로 유의미한 향상( p < 0.001)을 보였다.
• 차가운 시작 사용자에 대해 첫 번째 상호작용 이후 성능이 크게 향상되어 희소한 사용자 피드백에 효과적으로 적응하는 것으로 나타났다.
• 신규 상호작용의 가중치($w_{\text{new}}$)를 약 4로 설정할 때 최적의 성능을 달성하여 단기 및 장기 사용자 선호도 간의 균형을 이루는 것으로 나타났다.
• 인기 기반 가중치 기법은 특히 시각화는 높지만 클릭률은 낮은 항목에 대해 균일한 가중치보다 사용자 선호도를 더 잘 표현한다.
• eALS는 데이터 희소성에 강건하며, 신속한 사용자 상호작용 적응을 통해 차가운 시작 문제를 효과적으로 완화한다.