[논문 리뷰] Factorization Machines for Data with Implicit Feedback

Babak Loni, Martha A. Larson외 1명|arXiv (Cornell University)|2018. 12. 19.

Recommender Systems and Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 암시적 피드백 데이터셋에 최적화된 Factorization Machines의 쌍별 학습-순서 정하기(adaptation)인 FM-Pair를 제안한다. 표준 점별 손실 대신 BPR 유사 쌍별 목적함수를 도입함으로써, FM-Pair는 표준 FMs와 BPR-MF와 같은 최신 기법들보다 순서 정하기 성능을 향상시키면서도 선형 복잡도와 확장성을 유지한다.

ABSTRACT

In this work, we propose FM-Pair, an adaptation of Factorization Machines with a pairwise loss function, making them effective for datasets with implicit feedback. The optimization model in FM-Pair is based on the BPR (Bayesian Personalized Ranking) criterion, which is a well-established pairwise optimization model. FM-Pair retains the advantages of FMs on generality, expressiveness and performance and yet it can be used for datasets with implicit feedback. We also propose how to apply FM-Pair effectively on two collaborative filtering problems, namely, context-aware recommendation and cross-domain collaborative filtering. By performing experiments on different datasets with explicit or implicit feedback we empirically show that in most of the tested datasets, FM-Pair beats state-of-the-art learning-to-rank methods such as BPR-MF (BPR with Matrix Factorization model). We also show that FM-Pair is significantly more effective for ranking, compared to the standard FMs model. Moreover, we show that FM-Pair can utilize context or cross-domain information effectively as the accuracy of recommendations would always improve with the right auxiliary features. Finally we show that FM-Pair has a linear time complexity and scales linearly by exploiting additional features.

연구 동기 및 목표

• 실제 추천 시스템에서 흔한 암시적 피드백 데이터를 다룰 때 표준 Factorization Machines(FMs)의 한계를 해결하기 위해.
• 점별 최적화와 신뢰할 수 없는 음성 샘플링으로 인해 순서 정하기를 최적화하지 못하는 단순한 암시적-명시적 매핑의 단점을 극복하기 위해.
• 표현력과 선형 복잡도를 유지하면서도 순서 정하기 작업에 효과적인 일반적인 확장 가능한 모델을 개발하기 위해.
• 보조 특징(예: 환경, 교차 도메인 항목 특징)을 통합함으로써, 환경 인식형 및 교차 도메인 협업 필터링 환경에서 FM-Pair의 효과성을 입증하기 위해.
• 요소 수와 인자화 차원의 증가에 따라 FM-Pair가 선형적으로 확장되는지, 선형 시간 복잡도를 유지하는지 확인하기 위해.

제안 방법

• 표준 점별 회귀 손실 대신 Bayesian Personalized Ranking(BPR) 기준을 모티브로 한 쌍별 순서 정하기 손실 함수를 사용하도록 Factorization Machines를 수정한다.
• 예측 점수의 순서를 양성 사용자-항목 상호작용이 음성(샘플링된) 상호작용보다 높게 만들도록 최적화 목표를 설정함으로써 순서 정하기 성능을 향상시킨다.
• 원래의 FM 구조를 유지하여 사용자, 항목, 보조 특징을 공유된 잠재 공간으로 인자화함으로써 모델의 일반성과 표현력을 유지한다.
• 사용자와 항목과 같은 동일한 잠재 공간에 매핑함으로써 환경(예: 시간, 위치) 및 교차 도메인 항목 특징과 같은 보조 특징을 통합한다.
• 스토하스틱 그래디언트 하강법을 사용하여 쌍별 순서 정하기 목적함수로 모델을 훈련시키며, 각 샘플에 대해 O(k)의 선형 시간 복잡도를 확보한다. 여기서 k는 비제로 특징의 수이다.
• 다양한 데이터셋과 설정에서 재현 가능한 평가를 위해 WrapRec 툴킷을 활용하여 BPR-MF 및 표준 FMs와의 일관된 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 점별 훈련에 비해 쌍별 최적화 목표함수는 암시적 피드백 데이터셋에서 Factorization Machines의 순서 정하기 성능을 향상시키는가?
• RQ2 암시적 피드백 데이터에서 BPR-MF와 같은 최신 기술과 비교할 때 FM-Pair의 정확도와 확장성은 어떠한가?
• RQ3 FM-Pair는 협업 필터링 작업에서 환경 또는 교차 도메인 정보와 같은 보조 특징을 얼마나 효과적으로 활용할 수 있는가?
• RQ4 암시적 피드백을 명시적 레이블로 단순 매핑하는 것(예: 클릭 시 +1, 비상호작용 시 0)은 FMs에서 최적의 순서 정하기 성능을 이끌지 못하는가?
• RQ5 FM-Pair는 인자화 차원과 보조 특징 수가 증가함에 따라 어떻게 확장되며, 선형 시간 복잡도를 유지하는가?

주요 결과

• FM-Pair는 점별 최적화 목표함수 덕분에, 명시적 피드백 데이터로 훈련된 경우조차도 표준 FMs보다 순서 정하기 작업에서 뚜렷한 성능 향상을 보였다.
• 암시적 피드백을 포함한 네 개의 실제 데이터셋에서, FM-Pair는 암시적 피드백 순서 정하기 분야에서 최신 기법인 BPR-MF보다 더 높은 정확도를 달성했다.
• 잠재 요소의 수와 보조 특징의 수에 대해 선형 확장성과 낮은 훈련 시간 증가율을 보이며, 선형 복잡도를 유지함을 입증했다.
• Frappe와 같이 인기 편향이 심한 데이터셋에서 항목의 편향을 통합함으로써 성능 향상이 뚜렷하게 향상되었으며, 이는 암시적 피드백 환경에서 편향 모델링의 중요성을 시사한다.
• FM-Pair는 환경 및 교차 도메인 항목 특징과 같은 보조 특징을 효과적으로 활용하여, 모델 재구성 없이도 일관된 성능 향상을 이끌었다.
• 표준 FMs에서 사용하는 점별 손실에 비해 FM-Pair의 쌍별 훈련 목표함수는 특히 음성 샘플이 신뢰할 수 없을 경우 더 나은 수렴과 순서 정하기 품질을 제공한다.