[論文レビュー] Bayesian Probabilistic Matrix Factorization: A User Frequency Analysis

Cody Severinski, Ruslan Salakhutdinov|arXiv (Cornell University)|Jul 29, 2014

Recommender Systems and Techniques参考文献 4被引用数 5

ひとこと要約

この論文は、相関フィルタリングにおける不均一分散と過学習の問題に対処するために、サイド特徴量と切断された精度構造を備えたベイジアン確率的行列分解モデルを提案する。制約付きPMFをギブスサンプリングで拡張し、切断された精度モデルを導入することで、変分推論と標準的なMAP推定に比べて性能が向上し、特に低頻度ユーザーにおいて顕著である。

ABSTRACT

Matrix factorization (MF) has become a common approach to collaborative filtering, due to ease of implementation and scalability to large data sets. Two existing drawbacks of the basic model is that it does not incorporate side information on either users or items, and assumes a common variance for all users. We extend the work of constrained probabilistic matrix factorization by deriving the Gibbs updates for the side feature vectors for items (Salakhutdinov and Minh, 2008). We show that this Bayesian treatment to the constrained PMF model outperforms simple MAP estimation. We also consider extensions to heteroskedastic precision introduced in the literature (Lakshminarayanan, Bouchard, and Archambeau, 2011). We show that this tends result in overfitting for deterministic approximation algorithms (ex: Variational inference) when the observed entries in the user / item matrix are distributed in an non-uniform manner. In light of this, we propose a truncated precision model. Our experimental results suggest that this model tends to delay overfitting.

研究の動機と目的

• 標準的な確率的行列分解が均一分散を仮定し、ユーザー／アイテムのサイド情報を無視するという制限を解消する。
• 不均一に分布するレーティングデータにおける過学習に対するモデルの頑健性を向上させるために、不均一分散の精度をモデル化する。
• ユーザー頻度とモデルの複雑さの文脈において、ギブスサンプリングと変分推論の性能を比較評価する。
• サイド特徴量と精度モデルの影響が、レーティング頻度に差があるユーザー間の予測精度にどのように影響するかを調査する。

提案手法

• ユーザーおよびアイテム特徴量に共役ガウス・ウィッシュァート事前分布を用いたベイジアン階層モデルを導入することで、制約付き確率的行列分解（PMF）をサイド特徴量を組み合わせて拡張する。
• 潜在特徴量、精度、ハイパーパrameterの事後分布推論を実行するための完全条件付き分布を導出する。
• 決定的推論における過学習を軽減するために、切断された精度モデルを導入する。特に、レーティング分布が非一様である場合に有効である。
• 精度と収束特性のトレードオフを評価するため、変分平均場近似とギブスサンプリングを比較する。
• ユーザーおよびアイテムバイアスを明示的にモデル化し、グローバル精度とハイパーパラメータを導入して頑健性を向上させる。
• モデルパラメータを最適化するために変分下界を用いるが、その過学習傾向や局所最適解への収束傾向を分析する。

実験結果

リサーチクエスチョン

• RQ1 ギブスサンプリングと変分推論の間で、行列分解モデルにおける予測性能と過学習に対する頑健性に差は生じるか？
• RQ2 サイド特徴量の導入が、特にレーティングが少ないユーザーにおいて、どの程度モデル性能を向上させるか？
• RQ3 乗法的要因を用いた不均一分散精度モデルは、スルーデントt事前分布や固定精度と比較して性能を向上させるか？
• RQ4 提案された切断精度モデルは、非一様なレーティング分布下で、変分推論における過学習をどの程度遅らせるか？
• RQ5 ユーザーのレーティング頻度に応じてモデル性能はどのように変化するか？また、ベイジアンフレームワークは低頻度ユーザーをより効果的に扱えるか？

主な発見

• ギブスサンプリングは、事後分布の不確実性をよりよく探索できるため、特に低頻度ユーザーにおいて、変分推論に比べて高い予測精度を達成する。
• 変分推論は、事後分布の完全な探索を行わないため、過学習を起こすか、局所最適解に陥りやすい傾向がある。
• サイド特徴量の導入は、特にレーティングがスパースなユーザーにおいて、ユーザー行動の相関的影響を捉えることで、性能を顕著に向上させる。
• 乗法的要因を用いた不均一分散精度モデルは性能を向上させるが、レーティング分布が非一様な場合、標準的な変分推論は過学習を起こす。
• 提案された切断精度モデルは、精度値の範囲を制限することで、変分推論における過学習を遅らせる。その結果、より安定的かつ汎用性の高い予測が得られる。
• サイド特徴量とギブスサンプリングによる完全な事後分布推論を組み合わせた制約付きPMFのベイジアン取り扱いは、MAP推定に比べ、より頑健で正確な代替手法を提供する。