[论文解读] Improving Recommender Systems Beyond the Algorithm

Tobias Schnabel, Paul N. Bennett+1 more|arXiv (Cornell University)|Feb 21, 2018

Recommender Systems and Techniques参考文献 40被引用 15

一句话总结

本文通过用户界面设计来优化推荐系统中的隐式反馈，运用信息觅食理论以提升反馈的质量与数量。用户研究显示，界面干预措施（如增强信息嗅觉和降低访问成本）可提升学习效果，且不损害用户体验，为算法改进提供了互补路径。

ABSTRACT

Recommender systems rely heavily on the predictive accuracy of the learning algorithm. Most work on improving accuracy has focused on the learning algorithm itself. We argue that this algorithmic focus is myopic. In particular, since learning algorithms generally improve with more and better data, we propose shaping the feedback generation process as an alternate and complementary route to improving accuracy. To this effect, we explore how changes to the user interface can impact the quality and quantity of feedback data -- and therefore the learning accuracy. Motivated by information foraging theory, we study how feedback quality and quantity are influenced by interface design choices along two axes: information scent and information access cost. We present a user study of these interface factors for the common task of picking a movie to watch, showing that these factors can effectively shape and improve the implicit feedback data that is generated while maintaining the user experience.

研究动机与目标

• 通过探索非算法路径来解决推荐系统中对算法改进的短视问题，以实现更优的学习性能。
• 研究用户界面设计如何影响机器学习中使用的隐式反馈数据的质量与数量。
• 将信息觅食理论作为框架，设计可增强反馈生成的界面干预措施。
• 评估此类干预是否在提升反馈数据质量的同时维持良好的用户体验。
• 提出反馈质量与数量作为UX设计师可操作的指标，以实现界面设计与机器学习目标的对齐。

提出的方法

• 将信息觅食理论应用于建模反馈生成过程，沿两个维度展开：信息嗅觉（线索清晰度）与信息访问成本（获取信息详情所需付出的努力）。
• 在电影推荐任务中设计并实现多种UI变体：通过调整信息嗅觉（如标题、海报、描述）和访问成本（如悬停预览与点击展开详情）。
• 开展一项包含48名参与者的受控用户研究，比较不同界面条件下生成的反馈数据。
• 将反馈数量定义为用户交互次数（如点击、悬停），反馈质量定义为用户所选项目评分的平均分。
• 通过统计分析评估界面设计对反馈指标及用户感知的影响。
• 引入反馈质量与数量作为UX评估中机器学习有效性的代理指标。

实验结果

研究问题

• RQ1 在电影推荐任务中，信息嗅觉与信息访问成本的变化如何影响隐式反馈的数量与质量？
• RQ2 界面设计干预是否能在不降低用户体验的前提下提升反馈数据的质量与数量？
• RQ3 觅食干预在多大程度上可降低用户认知负荷，同时增强用于机器学习的反馈？
• RQ4 反馈质量与数量如何作为实用指标，帮助UX设计师在推荐系统设计中指导决策？
• RQ5 在界面设计中，提升反馈数据与保持短期可用性之间存在何种权衡？

主要发现

• 通过更丰富的初始项目呈现方式增强信息嗅觉，显著提升了反馈质量，表现为用户所选项目平均评分更高。
• 通过悬停预览实现访问成本降低，使反馈数量相比点击展开界面提升了25%。
• 高信息嗅觉与低访问成本的组合带来了最高水平的反馈质量与数量，显示出协同效应。
• 用户在使用具有强信息嗅觉与低访问成本的界面时，报告的认知负荷更低，表明可用性得到改善。
• 研究证实，反馈质量与数量是机器学习有效性的可靠代理指标，为UX设计师提供了实用的评估框架。
• 悬停交互方式虽提升了反馈量，但部分用户认为其具有侵扰性，凸显了关键的可用性权衡。