[论文解读] Beyond Accuracy Optimization: On the Value of Item Embeddings for Student Job Recommendations

Emanuel Lacić, Dominik Kowald+3 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 19被引用 3

一句话总结

本文提出结合神经项嵌入与基础水平学习（BLL）方程，以提升大学毕业生的职位推荐效果，平衡准确性、多样性与新颖性。通过整合交互的频率与近期性，基于BLL的方法在保持高准确性和多样性的同时，实现了最佳的新颖性表现，优于标准的内容过滤与协同过滤方法。

ABSTRACT

In this work, we address the problem of recommending jobs to university students. For this, we explore the utilization of neural item embeddings for the task of content-based recommendation, and we propose to integrate the factors of frequency and recency of interactions with job postings to combine these item embeddings. We evaluate our job recommendation system on a dataset of the Austrian student job portal Studo using prediction accuracy, diversity and an adapted novelty metric. This paper demonstrates that utilizing frequency and recency of interactions with job postings for combining item embeddings results in a robust model with respect to accuracy and diversity, which also provides the best adapted novelty results.

研究动机与目标

• 超越仅关注准确性的目标，提升大学毕业生职位推荐系统，重点关注多样性与新颖性。
• 探究用户与职位发布内容互动的频率与近期性如何影响推荐质量。
• 开发并评估人类记忆理论中BLL方程在内容推荐中组合项嵌入的新型适配方法。
• 提出并验证一种反映真实用户行为（如申请模式）的新颖性度量方法，而非依赖全局流行度。
• 证明将基于BLL的嵌入与协同过滤结合，可构建稳健的推荐模型。

提出的方法

• 采用Doc2Vec在无监督条件下从职位描述中学习密集的语义项嵌入。
• 使用三种策略组合项嵌入：LAST（最近一次交互）、AVG（过去交互的平均值）和BLL（通过BLL方程实现频率与近期性加权组合）。
• 应用BLL方程以建模用户记忆动态，其中将互动的近期性与频率加权，计算动态用户偏好向量。
• 引入一种适配的新颖性度量指标Novelty*，定义为1 - |N_A - N@k|，其中N_A = 0.58为实际职位申请的平均新颖性。
• 使用奥地利学生职位门户网站Studo的真实数据集进行评估，推荐职位数k=3和k=6。
• 以轮询方式将表现最佳的BLL嵌入与基于用户的协同过滤结合，以提升整体性能。

实验结果

研究问题

• RQ1 项嵌入能否在准确性之外提升职位推荐性能，特别是在多样性与新颖性方面？
• RQ2 用户与职位发布内容互动的频率与近期性如何影响内容推荐的质量？
• RQ3 将人类记忆理论中的BLL方程整合到项嵌入组合中，是否能带来更均衡的推荐结果？
• RQ4 一种反映真实用户申请行为的新颖性度量方法，能否提供比标准流行度度量更有意义的评估？
• RQ5 将基于BLL的项嵌入与协同过滤结合，是否能构建更稳健的推荐系统？

主要发现

• 基于BLL的方法在适配的新颖性度量（Novelty*）上表现最佳，其结果极为接近目标新颖性值0.58，该值代表了实际学生申请的平均新颖性。
• 采用BLL方程的策略在准确性上略低于LAST方法，但多样性显著优于CBF方法，且在Novelty*度量上优于所有其他方法。
• AVG策略实现了最高多样性，但以牺牲准确性为代价，表明这些指标之间存在权衡关系。
• 将嵌入维度提升至200或300导致新颖性得分上升，从而恶化了Novelty*表现，表明更高维度可能过度强调长尾项目。
• 将最佳BLL嵌入与协同过滤结合，产生了一个稳健模型，实现了高准确性、良好多样性，并达到近乎最优的新颖性（Novelty* ≈ 与目标值偏差0.01）。
• 结果表明，将人类记忆原理（通过BLL实现）融入嵌入组合，可显著提升现实场景中用户满意度所依赖的多样性与相关性平衡的推荐质量。