[논문 리뷰] Preference Completion: Large-scale Collaborative Ranking from Pairwise Comparisons

Dohyung Park, Joe Neeman외 3명|arXiv (Cornell University)|2015. 07. 16.

Recommender Systems and Techniques참고 문헌 36인용 수 32

한 줄 요약

이 논문은 쌍별 비교를 사용한 대규모 공동 랭킹을 위한 Preference Completion을 제안한다. 각 사용자당 O(r log²d)개의 비교로 강건한 일반화 보장을 갖는 볼록 최적화 방법과, 낮은 질서 행렬 인자에 대해 서포트 벡터 머신(SVM) 문제를 번갈아 풀어가며, 스케일러블한 비볼록 알고리즘인 AltSVM을 도입하여, 실제 데이터셋에서 최신 기술 수준의 성능을 달성하고 병렬 처리 시 선형 속도 향상을 보였다.

ABSTRACT

In this paper we consider the collaborative ranking setting: a pool of users each provides a small number of pairwise preferences between $d$ possible items; from these we need to predict preferences of the users for items they have not yet seen. We do so by fitting a rank $r$ score matrix to the pairwise data, and provide two main contributions: (a) we show that an algorithm based on convex optimization provides good generalization guarantees once each user provides as few as $O(r\log^2 d)$ pairwise comparisons -- essentially matching the sample complexity required in the related matrix completion setting (which uses actual numerical as opposed to pairwise information), and (b) we develop a large-scale non-convex implementation, which we call AltSVM, that trains a factored form of the matrix via alternating minimization (which we show reduces to alternating SVM problems), and scales and parallelizes very well to large problem settings. It also outperforms common baselines on many moderately large popular collaborative filtering datasets in both NDCG and in other measures of ranking performance.

연구 동기 및 목표

• 사용자가 항목 간의 쌍별 선호도를 소수만 제공할 때 공동 랭킹 문제를 해결한다.
• 사용자 간의 공통된 구조를 반영하는 낮은 질서의 점수 행렬을 모델링하여 개인화된 랭킹을 가능하게 한다.
• 경험적 리스크 최소화 문제의 볼록 완화에 대한 일반화 오차에 대한 이론적 보장을 제공한다.
• 기존 기준들보다 빠르고 정확도가 높은 대규모 공동 랭킹 문제를 해결할 수 있는 스케일러블하고 병렬 처리 가능한 비볼록 알고리즘(AltSVM)을 개발한다.

제안 방법

• 점수 행렬 X가 쌍별 비교를 통해 유추되는 낮은 질서 행렬 완성 문제로 공동 랭킹 문제를 공식화한다: 사용자 i가 항목 j를 항목 k보다 선호할 경우 X_ij > X_ik이다.
• 쌍별 차이에 대한 허지 손실을 사용한 경험적 리스크 최소화 문제의 볼록 완화를 통해 일반화와 이론적 보장을 확보한다.
• 점수 행렬을 인자 분해하고, 한 번에 한 요소씩 표준 SVM 문제를 풀어가며 최적화하는 비볼록 대안 최소화 알고리즘인 AltSVM을 제안한다.
• 잠금 없는 병렬 처리를 갖춘 확률적 이중 좌표 강하법을 구현하여 AltSVM을 다중 코어 환경에서 효율적으로 확장한다.
• 낮은 질서 행렬을 인수 분해 형태(X = UV^T)로 매개변수화하고, 쌍별 비교에 대한 허지 손실을 교대 최적화를 통해 최소화한다.
• 계산 비용을 줄이기 위해 쌍별 비교의 부분 샘플링(예: 수치적 간격이 가장 큰 비교들)을 적용하면서 성능를 유지한다.

실험 결과

연구 질문

• RQ1 쌍별 비교에서의 공동 랭킹을 위한 볼록 최적화 프레임워크가 수치적 평점이 있는 행렬 완성의 표본 복잡도와 근사하는 일반화 오차 한계를 달성할 수 있는가?
• RQ2 대규모 공동 랭킹 문제를 다룰 수 있는 비볼록이고 스케일러블한 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 인수 분해된 낮은 질서 행렬에 대해 교대 최소화를 수행할 때, 이를 교대 SVM 문제로 재정의하면 기존 기준들보다 더 나은 수렴성과 병렬 처리 성능를 보일 수 있는가?
• RQ4 제안된 방법이 NDCG와 Precision@K와 같은 랭킹 메트릭에서 수치적 평점 기반 알고리즘(CofiRank, LCR)과 이진 평점 기반 방법(RobiRank)을 얼마나 뛰어나게 성능을 높이는가?
• RQ5 코어 수 증가에 따라 알고리즘이 얼마나 잘 스케일링되며, 실제로 선형 속도 향상을 달성하는가?

주요 결과

• 볼록 완화는 로그 인수 요소까지 정확한 일반화 오차 한계를 달성하며, 사용자당 오직 O(r log²d)개의 쌍별 비교로 충분하여, 수치적 데이터로의 행렬 완성의 표본 복잡도와 일치한다.
• AltSVM은 MovieLens1m, MovieLens10m, Netflix 데이터셋에서 NDCG@10과 Precision@K 측면에서 CofiRank, LCR, RobiRank를 모두 초월하며, 관측된 비교 수가 증가할수록 성능 향상이 두드러진다.
• 사용자당 N=100개의 비교를 가질 경우, AltSVM은 MovieLens1m에서 NDCG@10이 0.7902를 기록하여 전역 랭킹 기준(0.7482)과 CofiRank(0.7151)를 모두 앞선다.
• AltSVM-sub는 사용자당 N개의 비교만 사용(수치 기반 기준과 동일한 수준)하지만, 여전히 CofiRank와 LCR보다 높은 NDCG 성능를 기록하여 쌍별 데이터의 효율성을 입증한다.
• 이진화된 MovieLens1m 데이터셋에서 16개 코어를 사용할 경우 AltSVM은 1코어 시 963.1초에서 111.0초로 감소하여 8.7배의 속도 향상을 달성했으며, 강력한 병렬 확장성을 보였다.
• Ablation 실험에서 AltSVM의 허지 손실 형식이 로지스틱 손실보다 더 높은 성능을 보였으며, NDCG와 Precision@K 점수에서 일관되게 높은 수치를 기록했다.