[論文レビュー] Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes

Ryan P. Adams, George E. Dahl+1 more|arXiv (Cornell University)|Aug 9, 2014

Gaussian Processes and Bayesian Inference参考文献 22被引用数 52

ひとこと要約

この論文は、時間、場所、またはユーザー／映画の属性といった補助情報（サイド情報）を、共変数空間上の滑らかな関数として潜在要因をモデル化することによって統合する、ガウス過程を強化した確率的行列分解（PMF）フレームワークを提案する。GP事前分布を用いて関連するPMF問題間で情報共有を図ることで、協調フィルタリングタスクにおける予測精度が向上し、プロバスケットボールの試合スコア予測において、標準PMFと比較して顕著な向上が示された。

ABSTRACT

Probabilistic matrix factorization (PMF) is a powerful method for modeling data associ- ated with pairwise relationships, Finding use in collaborative Filtering, computational bi- ology, and document analysis, among other areas. In many domains, there are additional covariates that can assist in prediction. For example, when modeling movie ratings, we might know when the rating occurred, where the user lives, or what actors appear in the movie. It is difficult, however, to incorporate this side information into the PMF model. We propose a framework for incorporating side information by coupling together multi- ple PMF problems via Gaussian process priors. We replace scalar latent features with func- tions that vary over the covariate space. The GP priors on these functions require them to vary smoothly and share information. We apply this new method to predict the scores of professional basketball games, where side information about the venue and date of the game are relevant for the outcome.

研究の動機と目的

• 時間、場所、ユーザーの属性などの補助共変数を統合できない標準的確率的行列分解（PMF）の制限を克服すること。
• 構造化された補助情報を利用することで、ペアワイズ関係モデリングの予測精度を向上させること。
• 潜在要因に共通のガウス過程事前分布を適用することで、複数のPMF問題を統合するフレームワークを構築すること。
• 日付や会場などの共変数空間において、潜在特徴の滑らかで情報共有可能な表現を可能にすること。
• 特にスポーツ結果予測において、実世界のデータに対して本手法の有効性を実証すること。

提案手法

• 共変数（例：日付、会場）の関数として潜在要因をスカラーから関数に置き換え、ガウス過程でモデル化すること。
• 関連するPMF問題間で滑らかさと共有構造を強制するため、GP事前分布を適用すること。
• 異なるデータインスタンス間で情報共有を可能にするために、潜在要因関数に統合されたGP事前分布を用いること。
• GP分布の潜在要因を用いた階層ベイズフレームワークとしてモデルを定式化すること。
• 大規模データセットにスケーリングするため、変分ベイズまたは期待値最大化を用いた近似推論を実行すること。
• 共変数に適応するため、周辺尤度最大化によりハイパーパrameterを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程事前分布は、時間や場所のような補助情報に沿って滑らかに変化する潜在要因を効果的にモデル化できるか？
• RQ2 補助情報をGPを介して統合することで、標準PMFと比較して行列分解における予測性能がどの程度向上するか？
• RQ3 関連するPMF問題間で共通のGP事前分布を適用することで、一般化性能がどの程度向上し、過学習がどの程度軽減されるか？
• RQ4 本フレームワークは、構造化された共変数を有する実世界の協調フィルタリングタスクに効果的に適用可能か？
• RQ5 適切にモデル化された場合、補助情報はスポーツ結果モデリングにおける予測精度にどの程度の影響を与えるか？

主な発見

• 提案手法は、標準PMFと比較して、プロバスケットボールの試合スコア予測において顕著な予測精度の向上を示した。
• 会場や日付といった補助情報の統合により、予測性能の測定可能な向上が得られた。
• GPに基づく潜在要因の結合により、関連する試合間で効果的な情報共有が可能になり、一般化性能が向上した。
• 構造化された共変数を有する実世界のデータセットに対しても、本モデルは頑健性とスケーラビリティを示した。
• GP事前分布の使用により、日付や会場といった共変数空間において、潜在要因の滑らかで解釈可能な表現が可能になった。
• 実験的結果から、適切にモデル化された補助情報が、予測性能に有意義な寄与を果たすことが確認された。