[論文レビュー] Negative Binomial Matrix Factorization for Recommender Systems

Olivier Gouvert, Thomas Oberlin+1 more|arXiv (Cornell University)|Jan 5, 2018

Bayesian Methods and Mixture Models参考文献 28被引用数 5

ひとこと要約

本稿では、過分散を示すカウントデータをモデル化するための潜在的露出変数を導入することで、Poisson Factorization（PF）を拡張した確率的行列分解モデルであるNegative Binomial Matrix Factorization（NBMF）を提案する。ユーザー・アイテムの相互作用を負の二項分布に従うようにモデル化することで、二値化による情報損失を回避し、Taste Profileデータセットにおいて、標準的なPFおよび二値化PFを上回る推薦精度を達成した。

ABSTRACT

We introduce negative binomial matrix factorization (NBMF), a matrix factorization technique specially designed for analyzing over-dispersed count data. It can be viewed as an extension of Poisson matrix factorization (PF) perturbed by a multiplicative term which models exposure. This term brings a degree of freedom for controlling the dispersion, making NBMF more robust to outliers. We show that NBMF allows to skip traditional pre-processing stages, such as binarization, which lead to loss of information. Two estimation approaches are presented: maximum likelihood and variational Bayes inference. We test our model with a recommendation task and show its ability to predict user tastes with better precision than PF.

研究の動機と目的

• 暗黙のレコメンデーションシステムで一般的に見られる過分散、スパarsity、バースト性を示すカウントデータを扱う際のPoisson Factorization（PF）の限界を解消すること。
• 相互作用回数の情報を破棄する可能性がある前処理手順（例：二値化）の必要性を排除すること。
• 局所的なばらつきを潜在的露出変数によって捉える柔軟な行列分解モデルを導入すること。
• NBMFが実世界の暗黙的フィードバックデータにおいて、PFよりもより正確で頑健なレコメンデーションを提供することを実証すること。

提案手法

• NBMFは、ユーザー・アイテムの相互作用 $ y_{ui} $ を、平均 $ [\mathbf{W}\mathbf{H}^T]_{ui} $ と分散パラメータ $ \alpha $ を持つ負の二項分布に従うようにモデル化し、分散が平均を上回ることを許容する。
• モデルは階層的Poisson-ガンマ混合として定式化される：$ a_{ui} \sim \mathcal{G}(\alpha, \alpha) $、$ y_{ui} \mid a_{ui} \sim \text{Pois}(a_{ui} [\mathbf{W}\mathbf{H}^T]_{ui}) $、ここで $ \mathbf{A} $ は局所的露出効果を捉える。
• 最尤推定と変分ベイズ推論の2つの推定アプローチが用いられ、事後分布の近似に用いられる。
• 露出変数 $ a_{ui} $ はユーザーがアイテムにさらされる露出度として解釈され、値が $ <1 $ であれば露出不足、$ >1 $ であれば過剰消費を示す。
• モデルは二値化を行わず、生のカウントデータ上で学習され、相互作用頻度の情報が保持される。
• レコメンデーションは期待値 $ [\mathbf{W}\mathbf{H}^T]_{ui} $ に基づいて生成され、露出値がアイテムの優先順位付けに影響を与える。

実験結果

リサーチクエスチョン

• RQ1 ユーザー・アイテム相互作用回数の過分散を考慮する行列分解モデルが、推薦精度を向上させることができるか？
• RQ2 露出を連続的潜在変数としてモデル化することで、相互作用回数の二値化よりも優れた性能が得られるか？
• RQ3 分散パラメータ $ \alpha $ の導入が、暗黙的フィードバックデータにおけるノイズや外れ値に対するモデルの頑健性に与える影響は何か？
• RQ4 潜在的露出変数 $ \mathbf{A} $ は、露出不足や過剰消費といったユーザー行動の解釈可能なインサイトを提供できるか？
• RQ5 NBMFは、実世界のカウントベースのレコメンデーションタスクにおいて、NDCGおよびその他のランク付け指標でPoisson Factorizationを上回るか？

主な発見

• NBMFは、NDCGという指標において、前処理なしの標準的Poisson Factorization（PF）を顕著に上回り、精度が向上した。
• 特に $ s > 1 $ の高い閾値を用いた場合、二値化PFよりも優れた性能を示し、低カウントのノイズの影響に対してより頑健であることが示された。
• NBMFの最適な潜在要因数の数 $ K $ は50であり、二値化PFの20と比較して、カウント値からのより豊かな情報を活用していることが示唆された。
• 潜在的露出変数 $ \mathbf{A} $ は解釈可能なインサイトを提供する：高頻度だが $ a_{ui} $ が低いアイテムは過剰消費されていると解釈できる。逆に、低頻度だが $ a_{ui} $ が高いアイテムは露出不足にあると解釈できる。
• 探索的分析では、NBMFが類似ジャンル（例：The Black Keysが好きなユーザーにThe Ramonesを推薦）のアイテムを適切に推薦できており、一貫性があり文脈的に関連性のあるレコメンデーションを実現していた。
• 潜在的露出変数による分散のモデル化が、固定分散を仮定するPoissonモデルと比較して、より正確で頑健なレコメンデーションをもたらすことが示された。