[論文レビュー] Low-Rank Factorization of Determinantal Point Processes for Recommendation

Mike Gartrell, Ulrich Paquet+1 more|arXiv (Cornell University)|Feb 17, 2016

Data Management and Algorithms参考文献 21被引用数 12

ひとこと要約

本稿では、大規模なアイテムカタログにおけるスケーラブルで効率的なレコメンデーションを可能にするために、決定的ポイントプロセス（DPP）のカーネル行列の低ランク因子分解を提案する。DPPカーネルの低ランク近似を学習することにより、フルランクDPPと比較して予測が最大20倍速くなり、学習がほぼ10倍速くなる。実世界の製品レコメンデーションデータセットにおいて、予測性能は同等またはそれを上回る。

ABSTRACT

Determinantal point processes (DPPs) have garnered attention as an elegant probabilistic model of set diversity. They are useful for a number of subset selection tasks, including product recommendation. DPPs are parametrized by a positive semi-definite kernel matrix. In this work we present a new method for learning the DPP kernel from observed data using a low-rank factorization of this kernel. We show that this low-rank factorization enables a learning algorithm that is nearly an order of magnitude faster than previous approaches, while also providing for a method for computing product recommendation predictions that is far faster (up to 20x faster or more for large item catalogs) than previous techniques that involve a full-rank DPP kernel. Furthermore, we show that our method provides equivalent or sometimes better predictive performance than prior full-rank DPP approaches, and better performance than several other competing recommendation methods in many cases. We conduct an extensive experimental evaluation using several real-world datasets in the domain of product recommendation to demonstrate the utility of our method, along with its limitations.

研究の動機と目的

• 大規模なアイテムカタログにおいて、高コストなメモリと計算負荷が学習と推論を妨げるフルランクDPPのスケーラビリティの制限を解消すること。
• 計算オーバーヘッドを著しく削減しながら、予測性能を維持または向上させるDPPカーネル行列の低ランク因子分解を開発すること。
• バスケット補完タスクにおけるモデル学習とリアルタイム推論の両方を高速化することで、効率的なオンラインレコメンデーションを可能にすること。
• 実世界の製品レコメンデーションデータセット上で本手法を評価し、フルランクDPPおよび他の最先端のレコメンデーションモデルと比較すること。
• 低ランクDPPフレームワークにおける正則化の影響、特にレアアイテムにおける予測性能に与える影響を調査すること。

提案手法

• 本手法は、DPPカーネル行列LをL = X^T Xの低ランク形式に因子分解し、次元削減と計算複雑性の低減を実現する。ここでXは潜在要因の行列である。
• 観測されたサブセットの対数尤度を最適化する勾配ベースの学習アルゴリズムを新たに提案し、効率的な学習を可能にする。
• 予測を高速化するために、低ランク要因から導かれる小さな部分行列の行列式を計算することで、フルランク行列演算を回避する。
• 低ランク構造に起因する正則化をモデルに組み込むことで、一般化性能が向上し、特にレアアイテムの過学習を軽減する。
• オンライン学習と推論をサポートしており、大規模なアイテムカタログを対象としたリアルタイムレコメンデーションシステムに適している。
• 標準的なレコメンデーション指標（例：precision@kとパopularity-weighted precision@k）を用いて、実世界のデータセット上で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 DPPカーネル行列の低ランク因子分解は、予測時間と学習時間を著しく短縮しつつ、推薦精度を維持または向上させることができるか？
• RQ2 実世界の製品レコメンデーションタスクにおいて、低ランクDPPモデルはフルランクDPPと比較して予測性能に優れているか？
• RQ3 低ランク構造に内在する正則化は、フルランクDPPや他のモデルと比較して、レアアイテムの性能向上に寄与するか？
• RQ4 フルランクDPPが計算的に非現実的となる大規模なアイテムカタログにおいて、低ランクDPPモデルはどの程度スケーリング可能か？
• RQ5 低ランクDPPモデルはフルランクDPPよりも高速な推論を達成でき、リアルタイムオンラインレコメンデーションを可能にするか？

主な発見

• 低ランクDPPモデルは、フルランクDPPと比較して、予測が最大20倍速く、学習がほぼ10倍速くなる。これは、特に大規模なアイテムカタログにおいて顕著な利点を有する。
• 評価されたすべてのデータセットにおいて、低ランクDPPモデルはフルランクDPPと同等またはより優れた予測性能を示し、特にprecision@k指標において顕著な改善が見られた。
• 多くの場合、特に多様性を重視したレコメンデーションにおいて、RecoMFや他の協調フィルタリングベースラインと比較して、低ランクDPPモデルが優れた性能を発揮した。
• 低ランク構造に起因する正則化効果により、レアアイテムの性能が向上したが、パopularity-weighted precision@k指標から、より良い正則化スキームの導入によりさらなる改善の余地があると示唆された。
• 大規模なデータセットに対しても効果的にスケーリングでき、フルランクDPPがメモリと計算制約により非現実的となるデータサイズの学習を可能にした。
• 本手法は、リアルタイム推論とスケーラブルなデプロイメントを可能にするため、オンラインレコメンデーションシステムにおいて実用的であることが示された。