[논문 리뷰] SQL-Rank: A Listwise Approach to Collaborative Ranking

Liwei Wu, Cho‐Jui Hsieh외 1명|arXiv (Cornell University)|2018. 02. 28.

Recommender Systems and Techniques참고 문헌 26인용 수 26

한 줄 요약

이 논문은 낮은 질서의 잠재 점수 행렬을 사용하는 순열 기반 우도 프레임워크를 통해 사용자 선호도를 모델링하는 listwise 공동 순위 방법인 SQL-Rank를 제안한다. 이는 스트로스틱 큐잉 프로세스를 통해 동반된 데이터와 결측치를 효율적으로 처리함으로써 암시적 및 명시적 피드백 데이터셋에서 최신 기술 성능을 달성하며, BPR 및 가중치-MF와 비교해 상위-k 정밀도에서 승리하고 데이터 크기에 따라 선형적으로 확장된다.

ABSTRACT

In this paper, we propose a listwise approach for constructing user-specific rankings in recommendation systems in a collaborative fashion. We contrast the listwise approach to previous pointwise and pairwise approaches, which are based on treating either each rating or each pairwise comparison as an independent instance respectively. By extending the work of (Cao et al. 2007), we cast listwise collaborative ranking as maximum likelihood under a permutation model which applies probability mass to permutations based on a low rank latent score matrix. We present a novel algorithm called SQL-Rank, which can accommodate ties and missing data and can run in linear time. We develop a theoretical framework for analyzing listwise ranking methods based on a novel representation theory for the permutation model. Applying this framework to collaborative ranking, we derive asymptotic statistical rates as the number of users and items grow together. We conclude by demonstrating that our SQL-Rank method often outperforms current state-of-the-art algorithms for implicit feedback such as Weighted-MF and BPR and achieve favorable results when compared to explicit feedback algorithms such as matrix factorization and collaborative ranking.

연구 동기 및 목표

• 전체 사용자 순위를 순열로 모델링하는 listwise 공동 순위 접근법을 개발함으로써, 개별 평가나 쌍별 비교가 아닌 전체 순위를 고려한다.
• 점수 척도 민감성과 항목 간 비교의 독립성 가정에 대한 제한을 해결한다.
• 암시적 피드백, 명시적 평가, 동점, 결측치를 통합된 프레임워크 내에서 처리할 수 있는 방법을 구축한다.
• 사용자와 항목 수가 함께 증가하는 상황에서 listwise 순위 방법의 이론적 통계 성능을 분석할 수 있는 이론적 기반을 제공한다.
• 대규모 데이터세트에 적합한 선형 시간 복잡도를 가진 효율적인 알고리즘을 설계한다.

제안 방법

• 방법은 낮은 질서의 잠재 점수 행렬에서 유도된 순열로 사용자 순위를 모델링하며, 항목 선택 확률이 잠재 점수의 음이 아닌 함수에 비례하는 가중치가 부여된 우물 모델을 사용해 확률을 할당한다.
• 전체 관측된 순위 목록을 단일 인스턴스로 간주하여, 순열 모델 하에서 최대우도추정 문제로 공동 순위를 공식화한다.
• 각 반복에서 순열을 스트로스틱으로 재표본 추출함으로써 동점과 결측치를 효과적으로 처리하는 새로운 스트로스틱 큐잉(SQ) 프로세스를 도입하여 강건성을 향상시킨다.
• 관측된 평가를 O(n m̄ r) 시간 내에 처리하는 선형 시간 최적화 기법을 사용한다. 여기서 n은 사용자 수, m̄는 평균 항목 수, r은 순위이다.
• 전체 목록 확률 기반으로 잠재 요소를 업데이트하는 스트로스틱 경사 하강법을 사용해 우도 목표를 최적화한다.
• 관측된 순위를 우도 함수에 직접 통합함으로써 명시적 및 암시적 피드백을 모두 지원한다.

실험 결과

연구 질문

• RQ1 전체 사용자 순위를 순열로 모델링하는 listwise 접근법이 기존의 점수 기반 및 쌍별 비교 방법보다 추천 정확도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 listwise 프레임워크 내에서 동점과 결측치를 효율적인 계산 복잡도를 유지하면서 효과적으로 모델링할 수 있는가?
• RQ3 사용자 수와 항목 수가 함께 증가할 때 listwise 순위 방법의 이론적 통계 성능은 어떠한가?
• RQ4 상위-k가 아닌 전체 목록 확률을 사용할 경우 실질적으로 순위 품질이 향상되는가?
• RQ5 높은 정확도와 확장성을 유지하면서 listwise 공동 순위를 위한 선형 시간 알고리즘을 설계할 수 있는가?

주요 결과

• SQL-Rank는 비교된 모든 방법 중에서 Movielens1m 데이터셋에서 정밀도@1(0.50736)를 기록하여 행렬 분해(MF)의 0.00050에 비해 뚜렷이 뛰어나다.
• Yahoo Music 데이터셋에서 SQL-Rank는 정밀도@1 0.14983을 기록하며 BPR 및 Weighted-MF를 능가했고, NDCG@10 및 P@5에서도 일관된 향상을 보였다.
• 스트로스틱 큐잉(SQ) 프로세스는 Movielens1m에서 정밀도를 10퍼센트 이상 향상시켜 동점과 결측치 처리의 효과성을 입증했다.
• 우도 손실에 전체 목록(k=50)을 사용할 경우 부분 목록(k=5,10,25)보다 유의미하게 더 좋은 결과를 얻었으며, NDCG@10은 0.648에서 0.751로 상승했다.
• BPR의 O(n m̄² r) 복잡도에 비해 SQL-Rank는 O(n m̄ r) 선형 복잡도를 가지므로, Julia로 구현된 상태에서도 BPR 및 Weighted-MF보다 더 빠르게 학습된다.
• SQL-Rank, Primal-CR++, 및 List-MF의 예측 상위-k 목록은 높은 유사성을 보이며 안정적이고 일관된 순위 행동을 나타내었고, MF는 상위-k 목록이 매우 다를 것으로 나타나 비교 대비 불안정성을 보였다.