[論文レビュー] SQL-Rank: A Listwise Approach to Collaborative Ranking

Liwei Wu, Cho‐Jui Hsieh+1 more|arXiv (Cornell University)|Feb 28, 2018

Recommender Systems and Techniques参考文献 26被引用数 26

ひとこと要約

この論文は、低ランク潜在スコア行列を用いた順列ベースの尤度フレームワークにより、ユーザーの好みをモデル化するリストワイズ共同順序付け手法SQL-Rankを提案する。スチルスティックキューイングプロセスにより、同順位や欠損データを効率的に処理することで、BPR や Weighted-MF よりもトップ-k精度を上回り、データサイズに線形にスケーリングする。

ABSTRACT

In this paper, we propose a listwise approach for constructing user-specific rankings in recommendation systems in a collaborative fashion. We contrast the listwise approach to previous pointwise and pairwise approaches, which are based on treating either each rating or each pairwise comparison as an independent instance respectively. By extending the work of (Cao et al. 2007), we cast listwise collaborative ranking as maximum likelihood under a permutation model which applies probability mass to permutations based on a low rank latent score matrix. We present a novel algorithm called SQL-Rank, which can accommodate ties and missing data and can run in linear time. We develop a theoretical framework for analyzing listwise ranking methods based on a novel representation theory for the permutation model. Applying this framework to collaborative ranking, we derive asymptotic statistical rates as the number of users and items grow together. We conclude by demonstrating that our SQL-Rank method often outperforms current state-of-the-art algorithms for implicit feedback such as Weighted-MF and BPR and achieve favorable results when compared to explicit feedback algorithms such as matrix factorization and collaborative ranking.

研究の動機と目的

• 個々の評価値やペairワイズ比較ではなく、完全なユーザー順序付けを順列としてモデル化するリストワイズ共同順序付けアプローチの開発。
• 点ワイズおよびペアワイズ手法の限界、すなわち評価尺度への感受性やアイテム比較の独立性仮定への依存を解消すること。
• 暗黙的フィードバック、明示的評価、同順位、欠損データを統合的に扱えるフレームワークの構築。
• ユーザーとアイテムの両方の増加が同時に起こる状況下でのリストワイズ順序付け手法の理論的統計的性能を分析するための根拠あるフレームワークの提供。
• 大規模データセットにスケーリング可能な線形時間計算量を持つ効率的なアルゴリズムの設計。

提案手法

• 本手法は、ユーザーの順序付けを低ランク潜在スコア行列から生成される順列としてモデル化し、潜在スコアの非負関数に比例する確率でアイテムが選択される重み付きアンモデルを用いて確率を割り当てる。
• 共同順序付けを順列モデル下での最尤推定問題として定式化し、観測された順序リスト全体を1つのインスタンスとして扱う。
• 同順位や欠損データを効果的に処理するため、反復毎に順列を確率的に再サンプリングする新しいスチルスティックキューイング（SQ）プロセスを導入し、耐性性を向上させる。
• 観測された評価値を O(n m̄ r) 時間で処理する線形時間最適化スキームを用いる。ここで n はユーザー数、m̄ は平均アイテム数、r は順位。
• 全リスト確率に基づいて更新される潜在要因を用いた確率的勾配降下法により、尤度目的関数を最適化する。
• 観測された順序リストを尤度関数に直接組み込むことで、明示的フィードバックと暗黙的フィードバックの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 完全なユーザー順序付けを順列としてモデル化するリストワイズアプローチが、従来の点ワイズおよびペアワイズ手法よりも推薦精度で優れているか。
• RQ2 計算効率を損なわず、同順位や欠損データをリストワイズフレームワーク内で効果的にモデル化できるか。
• RQ3 ユーザー数とアイテム数が同時に増加する際のリストワイズ順序付け手法の理論的統計的性能はいかなるものか。
• RQ4 トップ-kではなく全リスト確率（k=50）を用いることで、実際の順序付け品質が向上するか。
• RQ5 高精度とスケーラビリティを維持しつつ、リストワイズ共同順序付けに線形時間アルゴリズムを設計できるか。

主な発見

• Movielens1m データセットにおいて、SQL-Rank は全比較手法の中で最高の precision@1（0.50736）を達成し、行列分解（MF）の 0.00050 より顕著に優れている。
• Yahoo Music データセットでは、SQL-Rank は precision@1 で 0.14983 を達成し、BPR や Weighted-MF を上回り、NDCG@10 および P@5 において一貫した向上を示している。
• Stochastic Queuing（SQ）プロセスにより、Movielens1m において精度が10%以上向上し、同順位や欠損データの処理における有効性が裏付けられた。
• 尤度損失関数に全リスト（k=50）を用いることで、部分リスト（k=5,10,25）よりも顕著に優れた結果が得られ、NDCG@10 は 0.648 から 0.751 に向上した。
• BPR や Weighted-MF に比べ、SQL-Rank は Julia で実装されているにもかかわらず、O(n m̄ r) の線形複雑度のおかげでより高速に学習が完了した。一方、BPR はエポックあたり O(n m̄² r) の複雑度を有する。
• SQL-Rank、Primal-CR++、List-MF が予測するトップ-kリストは高い類似性を示しており、安定的かつ一貫性のある順序付け行動を示している。これに対して、MF は非常に異なるトップ-kリストを生成しており、一貫性に欠けている。