[論文レビュー] Hierarchical Compound Poisson Factorization

Mehmet Emin Basbug, Barbara E. Engelhardt|arXiv (Cornell University)|Apr 13, 2016

Recommender Systems and Techniques参考文献 23被引用数 13

ひとこと要約

本稿では、階層的ガンマ・ポアソン構造を用いてスパarsityモデリングと応答モデリングを分離するスケーラブルなベイジアン行列因子分解モデル、階層的複合ポアソン因子分解（HCPF）を提案する。HPFとは異なり、極度のスパarsity下でも応答が1に集中してしまうのを回避し、バイナリ、離散的、連続的、ゼロインflated連続的応答をサポートする。12個の実世界のスパースデータセットにおいて、対数尤度とAUC性能が顕著に向上する。

ABSTRACT

Non-negative matrix factorization models based on a hierarchical Gamma-Poisson structure capture user and item behavior effectively in extremely sparse data sets, making them the ideal choice for collaborative filtering applications. Hierarchical Poisson factorization (HPF) in particular has proved successful for scalable recommendation systems with extreme sparsity. HPF, however, suffers from a tight coupling of sparsity model (absence of a rating) and response model (the value of the rating), which limits the expressiveness of the latter. Here, we introduce hierarchical compound Poisson factorization (HCPF) that has the favorable Gamma-Poisson structure and scalability of HPF to high-dimensional extremely sparse matrices. More importantly, HCPF decouples the sparsity model from the response model, allowing us to choose the most suitable distribution for the response. HCPF can capture binary, non-negative discrete, non-negative continuous, and zero-inflated continuous responses. We compare HCPF with HPF on nine discrete and three continuous data sets and conclude that HCPF captures the relationship between sparsity and response better than HPF.

研究の動機と目的

• 極度のスパarsity下で応答が1に集中してしまうという、階層的ポアソン因子分解（HPF）の制限を解決すること。
• バイナリ、非負の離散的、非負の連続的、ゼロインflated連続的といった多様な応答タイプをモデル化できる柔軟でスケーラブルな行列因子分解モデルを構築すること。
• HPFが保持するガンマ・ポアソン構造を維持しつつ、応答モデリングとスパarsityモデリングを分離すること。
• 共同フィルタリングで一般的に見られる高次元かつ極めてスパースなデータセットにおいて、応答値と欠損パターンの両方の予測性能を向上させること。
• スパarsityモデリングと応答モデリングを分離することで、欠損の有無と応答の大きさの関係がより良く表現されることを示すこと。

提案手法

• HCPFは、潜在的要因の寄与がポアソン分布に従い、そのレートがガンマ分布に従うという複合ポアソン和として応答をモデル化する。これにより、ユーザーおよびアイテムの活動の長尾型モデリングが可能になる。
• スパarsityモデルを応答モデルから明示的に分離するために、観測済みかどうかを決定する別個のベルヌーイ過程を導入し、応答分布とは独立に扱う。
• 応答分布は柔軟に指定可能（例：ベルヌーイ、ポアソン、ガンマ、ゼロインflated連続的）であり、スパarsityモデルはガンマ・ポアソンのまま維持され、計算の tractability が保たれる。
• スケーラブルな事後分布近似のため、変分推論が用いられ、大規模なスパース行列への効率的学習が可能になる。
• 応答にはゼロ除外の複合ポアソン分布が使用され、収束定理により、スパarsityが増加するにつれHPFでは応答分布が1に退化する分布に収束することを示し、HCPFにおける分離の必要性を裏付ける。
• HCPFは欠損値を含む全行列を学習対象としており、HPFが非欠損値のみで学習されるのとは異なり、スパarsityと応答パターンの両方を統合的に学習可能である。

実験結果

リサーチクエスチョン

• RQ1 スパarsityのメカニズム（欠損）と応答分布を分離しつつ、スケーラビリティと解釈可能性を維持できる行列因子分解モデルは構築可能か？
• RQ2 スパarsityと応答モデリングを分離することで、極めてスパースなデータにおいて、応答値と欠損パターンの両方の予測性能が向上するか？
• RQ3 極度のスパarsity下で、HCPFはHPFに比べて非バイナリ、連続的、またはゼロインflated応答をどのようにモデル化できるか？
• RQ4 HCPFは、欠損がランダムであると仮定するモデルよりも、ユーザー／アイテムの活動（非欠損）と応答の大きさの関係をより良く捉えることができるか？
• RQ5 HCPFを全行列（欠損値を含む）で学習することで、非欠損値のみで学習するHPFよりも高い性能が得られるか？

主な発見

• HCPFは、9つの離散的および3つの連続的データセットにおいて、テスト時の対数尤度がHPFを顕著に上回り、応答分布のモデリングが向上していることが示された。
• HCPF-BI（ベルヌーイ応答）は、MovieLensを除くすべてのレーティングデータセットでHPFを上回り、HCPF-IG（ガンマ応答）はWordPress や Tencent などのソーシャルメディアデータセットで最良の性能を示した。
• HCPFは12個のデータセットのうち10個で、HPFがこのタスクに特化して設計されているにもかかわらず、欠損予測のAUCがHPFを上回った。これは、より良い応答モデリングがスパarsity予測を向上させることを示している。
• HCPFを全行列（欠損値を含む）で学習することで、非欠損値のみで学習するHPFよりも高い性能が得られ、スパarsityと応答の統合的モデリングがより効果的であることが示された。
• 収束定理により、HPFではスパarsityが増加するにつれて応答分布が1に退化する分布に収束することが証明され、HCPFにおける分離の必要性が裏付けられた。
• HCPFの応答モデリングの柔軟性により、より多くの視聴回数の映画に対して高いレーティングが付く、より多くのフォロワーを持つブログで高いエンゲージメントが得られるといった、現実世界の関係を捉えることができた。HPFはこれらの関係をモデル化できなかった。