[论文解读] Hierarchical Compound Poisson Factorization

Mehmet Emin Basbug, Barbara E. Engelhardt|arXiv (Cornell University)|Apr 13, 2016

Recommender Systems and Techniques参考文献 23被引用 13

一句话总结

本文提出分层复合泊松因子分解（HCPF），一种可扩展的贝叶斯矩阵分解模型，通过分层伽马-泊松结构将稀疏性建模与响应建模解耦。与强制响应在极端稀疏下集中于1的分层泊松因子分解（HPF）不同，HCPF支持二值、离散、连续及零膨胀连续响应，在12个真实世界稀疏数据集上显著提升了对数似然和AUC性能。

ABSTRACT

Non-negative matrix factorization models based on a hierarchical Gamma-Poisson structure capture user and item behavior effectively in extremely sparse data sets, making them the ideal choice for collaborative filtering applications. Hierarchical Poisson factorization (HPF) in particular has proved successful for scalable recommendation systems with extreme sparsity. HPF, however, suffers from a tight coupling of sparsity model (absence of a rating) and response model (the value of the rating), which limits the expressiveness of the latter. Here, we introduce hierarchical compound Poisson factorization (HCPF) that has the favorable Gamma-Poisson structure and scalability of HPF to high-dimensional extremely sparse matrices. More importantly, HCPF decouples the sparsity model from the response model, allowing us to choose the most suitable distribution for the response. HCPF can capture binary, non-negative discrete, non-negative continuous, and zero-inflated continuous responses. We compare HCPF with HPF on nine discrete and three continuous data sets and conclude that HCPF captures the relationship between sparsity and response better than HPF.

研究动机与目标

• 为解决分层泊松因子分解（HPF）中稀疏性与响应模型紧密耦合的问题，该问题在极端稀疏下导致响应集中于1。
• 开发一种灵活且可扩展的矩阵分解模型，能够对多种响应类型（二值、非负离散、非负连续及零膨胀连续）进行建模，同时保留HPF的伽马-泊松结构。
• 在协同过滤中常见的高维、极端稀疏数据集中，提升对响应值和缺失模式的预测性能。
• 证明解耦稀疏性与响应建模可更好地表征非缺失性与响应幅度之间的关系。

提出的方法

• HCPF将响应建模为潜因子的复合泊松和，其中每个因子的贡献服从率参数为伽马分布的泊松分布，从而实现对用户和项目活动的长尾建模。
• 通过引入独立的伯努利过程来确定条目是否被观测，明确将稀疏性模型与响应模型解耦，该过程与响应分布无关。
• 响应分布可灵活指定——例如伯努利、泊松、伽马或零膨胀连续分布——而稀疏性模型保持伽马-泊松结构，从而保持计算可处理性。
• 采用变分推断实现可扩展的后验近似，支持在大规模稀疏矩阵上高效训练。
• 响应使用零截断复合泊松分布，其收敛定理表明：当稀疏性增加时，HPF下的响应分布会收敛至1处的退化分布，从而证明解耦的必要性。
• HCPF在完整矩阵（包括缺失条目）上进行训练，实现稀疏性与响应模式的联合学习，而HPF通常仅在非缺失条目上训练。

实验结果

研究问题

• RQ1 能否设计一种矩阵分解模型，将稀疏性机制（缺失性）与响应分布解耦，同时保持可扩展性与可解释性？
• RQ2 在极端稀疏数据中，解耦稀疏性与响应建模是否能提升对响应值和缺失模式的预测性能？
• RQ3 在极端稀疏条件下，HCPF与HPF相比，在建模非二值、连续或零膨胀响应方面表现如何？
• RQ4 HCPF是否能比假设缺失随机的模型更好地捕捉用户/项目活跃度（非缺失性）与响应幅度之间的关系？
• RQ5 在完整矩阵（包括缺失条目）上训练HCPF是否优于仅在非缺失条目上训练HPF？

主要发现

• HCPF在九个离散和三个连续数据集上的测试对数似然显著优于HPF，证明其对响应分布建模能力的提升。
• HCPF-BI（伯努利响应）在除MovieLens外的所有评分数据集上优于HPF，而HCPF-IG（伽马响应）在WordPress和Tencent等社交媒体数据集上表现最佳。
• 在12个数据集中的10个中，HCPF在预测缺失性方面的AUC高于HPF，尽管HPF专门为此任务设计，表明更优的响应建模可提升稀疏性预测性能。
• 在完整矩阵上训练HCPF的性能优于仅在非缺失条目上训练HPF，表明联合建模稀疏性与响应更有效。
• 收敛定理证明：在HPF下，随着稀疏性增加，响应分布会收敛至1处的退化分布，从而为HCPF中解耦的必要性提供理论依据。
• HCPF在响应建模上的灵活性使其能够捕捉现实世界中的关系，如观看次数越多的电影评分越高、关注数越多的博客互动越活跃，而HPF无法建模此类关系。