[论文解读] Apache Lucene as Content-Based-Filtering Recommender System: 3 Lessons Learned
本文在学术文献背景下评估了 Apache Lucene 作为基于内容过滤的推荐系统的效果，表明相关性得分高于 0.025 显著提升了点击率，前 10 名推荐结果优于从前 50 名结果中随机采样的表现，且结果数量较少（低于 1,000 项）与用户参与度降低相关。本研究为改进基于搜索的推荐系统中的推荐质量提供了可操作的见解。
For the past few years, we used Apache Lucene as recommendation frame-work in our scholarly-literature recommender system of the reference-management software Docear. In this paper, we share three lessons learned from our work with Lucene. First, recommendations with relevance scores below 0.025 tend to have significantly lower click-through rates than recommendations with relevance scores above 0.025. Second, by picking ten recommendations randomly from Lucene's top50 search results, click-through rate decreased by 15%, compared to recommending the top10 results. Third, the number of returned search results tend to predict how high click-through rates will be: when Lucene returns less than 1,000 search results, click-through rates tend to be around half as high as if 1,000+ results are returned.
研究动机与目标
- 评估 Apache Lucene 在学术文献背景下作为基于内容过滤的推荐系统的效果。
- 识别 Lucene 推荐系统中影响性能的关键因素，特别是相关性得分和结果选择策略。
- 理解返回的搜索结果数量如何影响推荐场景下的用户点击率。
提出的方法
- 使用 Apache Lucene 通过索引学术文献元数据和查询词，生成基于内容的推荐。
- 利用 Lucene 的标准评分模型（如 BM25）为每篇文档相对于用户查询计算相关性得分。
- 评估不同推荐配置下的点击率（CTR）：相关性阈值、结果采样策略以及结果集大小。
- 对比前 10 名推荐与从 Lucene 前 50 名结果中随机抽取 10 项的结果之间的点击率，以评估选择策略的影响。
- 基于 Lucene 搜索结果的总数（例如，<1,000 与 ≥1,000）分析点击率趋势。
- 收集并分析 Docear 参考管理软件中的用户交互日志，以衡量真实场景下的推荐性能。
实验结果
研究问题
- RQ1在学术文献推荐系统中，Lucene 相关性得分低于 0.025 对点击率有何影响？
- RQ2从 Lucene 的前 50 名结果中随机选取 10 项推荐，其点击率是否低于直接选取前 10 名结果？
- RQ3Lucene 返回的结果总数（例如，<1,000 与 ≥1,000）如何影响推荐项目的点击率？
主要发现
- 相关性得分低于 0.025 的推荐点击率显著低于得分高于 0.025 的推荐。
- 从 Lucene 前 50 名结果中随机选取 10 项推荐，其点击率比直接选取前 10 名结果降低了 15%。
- 当 Lucene 返回的结果少于 1,000 项时，点击率约为返回结果数为 1,000 或以上的场景的一半。
- 返回的搜索结果数量是点击率的强预测因子，结果数量越多，用户参与度越高。
- 前 10 名推荐策略优于从前 50 名中随机采样，表明排序顺序显著影响用户行为。
- 相关性得分阈值低于 0.025 与推荐性能较差相关，提示应设定此值为过滤低质量建议的实际截止点。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。