[论文解读] Frappe: Understanding the Usage and Perception of Mobile App Recommendations In-The-Wild

Linas Baltrunas, Karen Church+2 more|arXiv (Cornell University)|May 12, 2015

Recommender Systems and Techniques参考文献 27被引用 61

一句话总结

本文提出Frappé，一种上下文感知的移动应用推荐系统，利用张量分解整合隐式使用数据与上下文信号（如时间、位置）以实现个性化推荐。该系统在1,000名Android用户中部署，并通过33名用户的实验进行验证。结果表明，尽管上下文感知推荐能提升性能，但用户若对初始推荐的相关性不满意，会迅速卸载应用，凸显了在评估框架中早期质量评估的重要性。

ABSTRACT

This paper describes a real world deployment of a context-aware mobile app recommender system (RS) called Frappe. Utilizing a hybrid-approach, we conducted a large-scale app market deployment with 1000 Android users combined with a small-scale local user study involving 33 users. The resulting usage logs and subjective feedback enabled us to gather key insights into (1) context-dependent app usage and (2) the perceptions and experiences of end-users while interacting with context-aware mobile app recommendations. While Frappe performs very well based on usage-centric evaluation metrics insights from the small-scale study reveal some negative user experiences. Our results point to a number of actionable lessons learned specifically related to designing, deploying and evaluating mobile context-aware RS in-the-wild with real users.

研究动机与目标

• 了解上下文感知的移动应用推荐在真实场景中的使用与感知情况。
• 结合大规模使用日志与小规模用户反馈，评估上下文感知推荐的有效性。
• 识别在真实环境中设计、部署与评估上下文感知推荐系统（RS）的关键挑战。
• 通过强调早期卸载作为推荐质量的关键信号，提出对现有评估框架的改进。
• 为未来移动上下文感知RS的设计与评估提供可操作的经验教训。

提出的方法

• 结合在Google Play平台大规模部署（1,000名Android用户）与小规模现场用户研究（33名参与者）的混合评估方法。
• 基于张量分解的建模方法，联合学习用户偏好、应用特征与上下文因素（时间、位置、活动）。
• 利用隐式反馈（应用使用与安装）结合上下文元数据，生成个性化推荐。
• 收集匿名使用日志与主观反馈，以分析用户行为与感知。
• 设计包含推荐解释、类别筛选与交互式反馈机制的用户界面。
• 采用以使用为中心的指标，并分析卸载时间以评估推荐质量。

实验结果

研究问题

• RQ1 时间与位置等上下文因素如何影响真实世界中的移动应用使用模式？
• RQ2 终端用户在真实场景中如何感知并交互于上下文感知的移动应用推荐？
• RQ3 以使用为中心的评估指标在多大程度上反映了实际用户满意度与推荐质量？
• RQ4 在真实用户中部署与评估上下文感知移动推荐系统时面临哪些关键挑战？
• RQ5 如何改进评估框架，以更好地捕捉移动应用推荐的质量？

主要发现

• Frappé应用的大部分卸载发生在安装后的第一个小时内，表明用户对推荐质量的判断极为迅速。
• 超过70%的Frappé卸载发生在首日，且在安装后几分钟内出现显著的卸载高峰。
• 用户经常拒绝与他们频繁使用应用同类别推荐的应用，表明冗余性被负面感知。
• 仅靠使用数据不足以实现有效的应用推荐，因为高使用率并不总与用户满意度或长期留存相关。
• 在两个月内，应用安装行为数量极低（仅714次），远低于使用行为（230万次），限制了基于安装数据训练模型的可行性。
• 安装后立即卸载是推荐失败的更强指标，相较于使用量不足，这表明应在评估框架中优先考虑此指标。