[论文解读] Combating the Filter Bubble: Designing for Serendipity in a University Course Recommendation System

Zachary A. Pardos, Weijie Jiang|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出 multifactor2vec，一种改进的 skip-gram 模型，通过联合建模课程、院系和教师因素来学习课程嵌入，以在大学环境中提升意外发现式课程推荐的效果。通过结合历史选课序列和课程描述，该模型在新颖性和意外发现性方面优于基于 RNN 的推荐系统，同时保持了较强的关联性，该结论已通过 70 名本科生参与的用户研究得到验证。

ABSTRACT

Collaborative filtering based algorithms, including Recurrent Neural Networks (RNN), tend towards predicting a perpetuation of past observed behavior. In a recommendation context, this can lead to an overly narrow set of suggestions lacking in serendipity and inadvertently placing the user in what is known as a "filter bubble." In this paper, we grapple with the issue of the filter bubble in the context of a course recommendation system in production at a public university. Most universities in the United States encourage students to explore developing interests while simultaneously advising them to adhere to course taking norms which progress them towards graduation. These competing objectives, and the stakes involved for students, make this context a particularly meaningful one for investigating real-world recommendation strategies. We introduce a novel modification to the skip-gram model applied to nine years of historic course enrollment sequences to learn course vector representations used to diversify recommendations based on similarity to a student's specified favorite course. This model, which we call multifactor2vec, is intended to improve the semantics of the primary token embedding by also learning embeddings of potentially conflated factors of the token (e.g., instructor). Our offline testing found this model improved accuracy and recall on our course similarity and analogy validation sets over a standard skip-gram. Incorporating course catalog description text resulted in further improvements. We compare the performance of these models to the system's existing RNN-based recommendations with a user study of undergraduates (N = 70) rating six characteristics of their course recommendations. Results of the user study show a dramatic lack of novelty in RNN recommendations and depict the characteristic trade-offs that make serendipity difficult to achieve.

研究动机与目标

• 为解决大学课程推荐系统中的过滤气泡问题，即协同过滤模型基于过往行为使推荐范围变窄。
• 设计一种推荐系统，通过引入意外发现式课程推荐，超越常规选课模式，在新颖性与相关性之间实现平衡。
• 通过联合建模课程、院系和教师因素，改进课程表征学习，以捕捉跨院系的语义相似性。
• 通过用户研究和机构数据，评估多样化推荐策略在真实大学环境中的有效性。
• 将现有的基于 RNN 的推荐系统重新定位为满足课程要求的规范性工具，而将注重意外发现性的模型保留用于探索性推荐。

提出的方法

• 提出 multifactor2vec，一种 skip-gram 变体，从九年的匿名课程选课序列中学习课程、院系和教师的联合嵌入。
• 在序列选课数据上训练模型，以学习捕捉跨课程（甚至跨院系）隐含语义相似性的向量表示。
• 通过课程目录描述中的文本特征增强课程嵌入，以提升语义泛化能力和相似性检测效果。
• 使用单门显式课程偏好作为推荐输入，实现类似视觉领域少样本学习的单次泛化能力。
• 通过离线验证在课程相似性和类比任务上的模型性能，测量准确率和召回率。
• 开展用户研究（N=70），评估六项推荐特性：新颖性、成功性、相关性、一致性、吸引力和实用性。

实验结果

研究问题

• RQ1 与基于 RNN 的系统相比，一种联合学习课程、院系和教师嵌入的改进 skip-gram 模型是否能提升课程推荐的意外发现性？
• RQ2 课程描述嵌入在多大程度上能提升课程相似性的语义泛化能力，超越仅依赖选课模式？
• RQ3 学生如何感知课程推荐中新颖性与成功性之间的权衡？
• RQ4 规范性行为（如课程要求满足）在学生满意度中扮演何种角色，以及如何将其与探索性推荐区分开来？
• RQ5 一种混合推荐界面，将“探索”（注重意外发现性）和“要求”（规范性）视图分离，能否提升用户体验？

主要发现

• 与标准 skip-gram 和 RNN 基线相比，multifactor2vec 模型在课程相似性和类比验证集上的准确率和召回率均有显著提升。
• 词袋模型（BOW）在新颖性和意外发现性方面优于 RNN，表明 RNN 推荐过于可预测且范围狭窄。
• 用户研究结果表明，RNN 推荐的新颖性显著偏低，证实了现有系统中存在过滤气泡现象。
• BOW 模型在新颖性和意外发现性评分上最高，而等价性模型（non-div）在成功性和相关性方面得分最高。
• 学生认为 RNN 推荐主要用于满足专业要求，验证了其作为规范性指导而非探索性工具的角色。
• 用户反馈促使系统界面重新设计，新增一个专用“探索”标签页，使用 BOW 和等价性模型；同时设立“要求”标签页，使用 RNN 展示规范性课程路径。