[论文解读] Expressive recommender systems through normalized nonnegative models

Cyril Stark|arXiv (Cornell University)|Nov 15, 2015

Recommender Systems and Techniques参考文献 16被引用 7

一句话总结

本文提出了归一化非负模型（NNM）用于推荐系统，通过将用户偏好建模为典型用户类型的归一化混合，并支持项目类别的分层结构，实现了预测准确性、计算效率以及高度可解释的用户和项目表征的结合。基于NNM的系统在保持可解释性的同时，其均平均精度优于SVD++，这是通过凸化概率模型实现的。

ABSTRACT

We introduce normalized nonnegative models (NNM) for explorative data analysis. NNMs are partial convexifications of models from probability theory. We demonstrate their value at the example of item recommendation. We show that NNM-based recommender systems satisfy three criteria that all recommender systems should ideally satisfy: high predictive power, computational tractability, and expressive representations of users and items. Expressive user and item representations are important in practice to succinctly summarize the pool of customers and the pool of items. In NNMs, user representations are expressive because each user's preference can be regarded as normalized mixture of preferences of stereotypical users. The interpretability of item and user representations allow us to arrange properties of items (e.g., genres of movies or topics of documents) or users (e.g., personality traits) hierarchically.

研究动机与目标

• 解决推荐系统中的三大核心挑战：预测能力、计算可处理性与可解释性。
• 开发一种建模框架，以实现用户和项目表达的丰富性与人类可理解性。
• 提供一种计算上可处理的方法，用于推导用户偏好与项目类别的分层结构。
• 证明在稀疏、噪声较多的评分数据中，高可解释性不会损害预测准确性。
• 通过将用户偏好与项目评分形式化为概率混合，将物理学中的系统状态-测量范式扩展至推荐系统。

提出的方法

• NNM将用户偏好建模为潜在用户原型上的归一化概率分布，从而实现可解释的用户表征。
• 每个项目通过一组对应于可能评分的指示向量表示，构成一个凸化随机变量空间。
• 该模型使用交替凸优化推断用户与项目表征，确保计算可处理性。
• 用户对项目评z星的概率通过用户偏好向量与项目特定评分指示向量的内积计算得出。
• NNM将随机变量空间松弛为凸包，实现高效推理的同时保持可解释性。
• 项目（如电影类型）与用户（如人格特质）的分层结构源自底层概率单纯形结构。

实验结果

研究问题

• RQ1 推荐系统能否在保持可解释的用户与项目表征的同时实现高预测准确性？
• RQ2 如何以数学上严谨且直观易懂的方式，将用户偏好建模为典型行为的归一化混合？
• RQ3 能否通过模型结构实现项目类别的分层排序，而无需复杂的生成过程？
• RQ4 NNM中对随机变量空间的凸松弛是否会影响与现有方法相比的预测性能？
• RQ5 概率论中的系统状态-测量范式在多大程度上提升了推荐系统中的建模能力？

主要发现

• 基于NNM的推荐系统在MovieLens数据集上实现了0.984的均平均精度，优于SVD++的0.912。
• 该模型表现出强大的预测能力，均平均误差为0.699，低于SVD++的0.719。
• NNM中的用户表征可解释为典型用户的归一化混合，从而能够直观描述用户行为。
• 项目表征可自然且直接地推导出类别（如电影类型或文档主题）的分层排序。
• 对随机变量空间的凸松弛使得通过交替凸优化实现计算上可处理的推理成为可能。
• NNM在不假设评分分布为正态分布的前提下，仍保持了强大的预测性能，而PMF-based模型则通常依赖此假设。