[論文レビュー] Scalable Recommendation with Poisson Factorization

Prem Gopalan, Jake M. Hofman+1 more|arXiv (Cornell University)|Nov 7, 2013

Recommender Systems and Techniques参考文献 48被引用数 114

ひとこと要約

本稿では、スケーラブルで高精度なレコメンデーションシステムを実現するため、ポアソン因子分解（PF）およびその階層的拡張版である階層的ポアソン因子分解（HPF）を提案する。ユーザーとアイテムの相互作用をポアソン分布に従う度数としてモデル化することで、スパースかつ有限のユーザーの消費行動を自然に捉える。明示的フィードバックおよび暗黙的フィードバックの両データにおいて、非負値行列分解、LDA、確率的行列分解を凌駕する性能を示し、HPFは20件の推薦における正規化精度で最大8パーセンテージポイント高い結果を達成した。

ABSTRACT

We develop a Bayesian Poisson matrix factorization model for forming recommendations from sparse user behavior data. These data are large user/item matrices where each user has provided feedback on only a small subset of items, either explicitly (e.g., through star ratings) or implicitly (e.g., through views or purchases). In contrast to traditional matrix factorization approaches, Poisson factorization implicitly models each user's limited attention to consume items. Moreover, because of the mathematical form of the Poisson likelihood, the model needs only to explicitly consider the observed entries in the matrix, leading to both scalable computation and good predictive performance. We develop a variational inference algorithm for approximate posterior inference that scales up to massive data sets. This is an efficient algorithm that iterates over the observed entries and adjusts an approximate posterior over the user/item representations. We apply our method to large real-world user data containing users rating movies, users listening to songs, and users reading scientific papers. In all these settings, Bayesian Poisson factorization outperforms state-of-the-art matrix factorization methods.

研究の動機と目的

• 実世界のレコメンデーションシステムにおけるスパースかつ有限のユーザー消費行動をモデル化する際、従来の行列因子分解の限界を克服すること。
• 明示的評価と暗黙的フィードバック（例：クリック、閲覧）の両方を、臨時の修正なしに自然に扱えるスケーラブルな確率的モデルを構築すること。
• ポアソン尤度を用いてユーザー固有の予算とアイテムの人気度の不均一性を考慮することで、レコメンデーション精度を向上させること。
• 変分推論を用いて、観測済み（非ゼロ）のエントリのみを反復処理することで、ビリオンスケールのユーザー・アイテム行列へのスケーラビリティを確保すること。
• Netflix、Last.FM、Mendeley、NYTといった多様な実世界データセットにおいて、PFおよびHPFの一貫した優位性を実証すること。

提案手法

• ユーザーとアイテムの相互作用を、ユーザーの好みとアイテムの属性の潜在ベクトルの内積として定義されるレートパラメータを持つポアソン分布としてモデル化する。
• ユーザーの多様性とアイテムの人気度を柔軟にデータ駆動的にモデル化できるように、ユーザーおよびアイテムの潜在要因に階層的事前分布を導入する。
• スケーリングを実現するため、確率的最適化を用いた変分推論アルゴリズムを採用し、観測済み（非ゼロ）エントリのみを反復処理する。
• 2段階の生成プロセスを適用：まずユーザーが消費するアイテム数（予算）を選択し、次に潜在的属性に基づいてその予算を好まれるアイテムに配分する。
• 実世界のユーザー行動パターンに整合するように、適切な事前分布を用いて潜在要因の非負性とスパarsity制約を組み込む。
• モデルの適合度を検証するため、事後予測チェックを実施し、古典的行列因子分解が見られるユーザー予算の過大評価をPFが回避することを示した。

実験結果

リサーチクエスチョン

• RQ1 ポアソン分布に基づく確率的行列因子分解モデルは、既存の手法に比べて、現実のユーザー行動をよりよく捉えることができるか？
• RQ2 ポアソン因子分解は、明示的フィードバックおよび暗黙的フィードバックの両方のデータにおいて、非負値行列分解、LDA、標準的行列因子分解を上回る性能を示すか？
• RQ3 本モデルは、多様なデータドメインにおけるユーザーの消費行動の多様性とアイテムの人気度の不均一性をどのように処理するか？
• RQ4 階層的拡張版であるHPFは、活動レベルが異なるユーザーの間で、より優れた性能とロバストネスを提供できるか？
• RQ5 有限のユーザー予算を考慮する生成プロセスにより、より優れた予測性能が得られ、データ固有のチューニングの必要性が低下するか？

主な発見

• HPFとBPFは、すべての4つのデータセット（Netflix、Last.FM、Mendeley、NYT）において、すべてのベースライン手法を上回り、20件の推薦における正規化精度で最大8パーセンテージポイント高い結果を達成した。
• ポアソン因子分解は、古典的行列因子分解（MF）にバイアスを追加した手法よりも顕著に優れており、臨時のゼロ値の重み付けを不要としている。特に暗黙的フィードバックデータにおいて顕著な改善を示した。
• 本モデルは、最も活動が少ない10%のユーザーを含む、すべてのユーザー活動レベルで優れた性能を維持しており、ユーザーのスパarsityに対してロバストであることが示された。
• 事後予測チェックの結果、古典的行列因子分解は一貫してユーザー予算を過大評価しており、未観測（ゼロ）エントリを過剰に重視するという欠陥を示したが、PFはこれを回避した。
• 探索的分析の結果、HPFで学習されたコンポーネントが、従来のカテゴリ（例：ニュース記事における自己啓発と個人財務）を越えて意味的で解釈可能なトピックを捉えていることが明らかになった。
• アルゴリズムは、観測済みエントリのみを用いた推論により、巨大なデータセット（Netflixデータセットでは81.6億セル、2.5億件の評価）に対しても効率的にスケーリングできた。