[论文解读] Collaborative Filtering by Personality Diagnosis: A Hybrid Memory- and Model-Based Approach

David M. Pennock, Eric Horvitz+2 more|arXiv (Cornell University)|Jan 16, 2013

Recommender Systems and Techniques参考文献 22被引用 506

一句话总结

本文提出了人格诊断（Personality Diagnosis, PD），一种混合协同过滤方法，结合基于记忆和基于模型的技术，通过根据偏好相似性将用户建模为概率性‘人格类型’来提高推荐准确性。该方法使用贝叶斯推断预测用户偏好，提供可解释的概率置信度，相较于传统协同过滤方法在EachMovie和CiteSeer数据集上表现更优，同时支持增量更新和信息价值（VOI）分析。

ABSTRACT

The growth of Internet commerce has stimulated the use of collaborative filtering (CF) algorithms as recommender systems. Such systems leverage knowledge about the known preferences of multiple users to recommend items of interest to other users. CF methods have been harnessed to make recommendations about such items as web pages, movies, books, and toys. Researchers have proposed and evaluated many approaches for generating recommendations. We describe and evaluate a new method called emph{personality diagnosis (PD)}. Given a user's preferences for some items, we compute the probability that he or she is of the same "personality type" as other users, and, in turn, the probability that he or she will like new items. PD retains some of the advantages of traditional similarity-weighting techniques in that all data is brought to bear on each prediction and new data can be added easily and incrementally. Additionally, PD has a meaningful probabilistic interpretation, which may be leveraged to justify, explain, and augment results. We report empirical results on the EachMovie database of movie ratings, and on user profile data collected from the CiteSeer digital library of Computer Science research papers. The probabilistic framework naturally supports a variety of descriptive measurements - in particular, we consider the applicability of a value of information (VOI) computation.

研究动机与目标

• 为解决传统协同过滤的局限性，提出一种基于概率框架的用户偏好建模方法，通过‘人格类型’实现用户偏好建模。
• 结合基于记忆和基于模型的协同过滤方法的优势，以提升可扩展性和可解释性。
• 通过严谨的概率解释，实现推荐中的增量学习和可解释性。
• 在真实世界数据集（包括EachMovie和CiteSeer）上评估该方法，以验证其鲁棒性和性能。
• 探索将信息价值（VOI）计算集成到推荐系统中，以支持决策制定。

提出的方法

• 该方法基于用户对项目的偏好模式，计算用户与他人属于同一人格类型的后验概率。
• 利用贝叶斯推断估计用户在已知人格类型及相似用户偏好下，对新项目产生偏好的可能性。
• 通过动态调整人格类型概率，支持增量更新，以适应新观察到的用户-项目交互。
• 结合基于记忆的相似性（利用已知用户偏好）与基于模型的参数估计，以提升泛化能力。
• 集成信息价值（VOI）计算，以评估收集额外偏好数据的预期效用。
• 采用概率图模型实现框架，以捕捉用户类型、项目偏好与观测评分之间的依赖关系。

实验结果

研究问题

• RQ1 与传统协同过滤相比，概率性用户分类模型是否能提升推荐准确性？
• RQ2 结合基于记忆和基于模型的组件在多大程度上提升了可扩展性和预测性能？
• RQ3 人格诊断在多大程度上支持推荐系统中的增量学习和实时更新？
• RQ4 该框架是否能自然地整合信息价值分析，以指导数据收集？
• RQ5 人格诊断模型在电影评分和学术论文偏好等多样化领域中的泛化能力如何？

主要发现

• 在EachMovie数据集上，人格诊断方法的预测准确性高于基线的基于记忆和基于模型的协同过滤方法。
• 该混合模型通过结合用户相似性与统计建模，展现出更高的鲁棒性和可扩展性。
• 概率解释使推荐结果具备有意义的解释性，增强了用户信任与系统透明度。
• 信息价值计算的集成使系统能够优先收集预测不确定性较高的项目的偏好数据。
• 在CiteSeer数据集上的实证结果证实，该方法在用户资料稀疏的学术推荐任务中同样有效。
• 该方法支持增量学习，使新用户数据可被引入而无需进行完整重训练。