[论文解读] Document Embeddings vs. Keyphrases vs. Terms: An Online Evaluation in Digital Library Recommender Systems

Andrew Collins, Joeran Beel|arXiv (Cornell University)|May 27, 2019

Advanced Text Analysis Techniques参考文献 4被引用 4

一句话总结

本文通过真实世界在线用户交互数据，评估了数字图书馆系统中基于术语、文档嵌入和关键词的推荐方法。在 Mr. DLib 的 19 个月部署中，Jabref 系统下关键词方法表现优于术语和嵌入方法（点击率 0.03%），而 Sowiport 系统中术语方法表现最佳（点击率 0.1%），两个系统中表现最佳与最差方法之间的性能差异均超过 400%。

ABSTRACT

Many recommendation algorithms are available to digital library recommender system operators. The effectiveness of algorithms is largely unreported by way of online evaluation. We compare a standard term-based recommendation approach to two promising approaches for related-article recommendation in digital libraries: document embeddings, and keyphrases. We evaluate the consistency of their performance across multiple scenarios. Through our recommender-as-a-service Mr. DLib, we delivered 33.5M recommendations to users of Sowiport and Jabref over the course of 19 months, from March 2017 to October 2018. The effectiveness of the algorithms differs significantly between Sowiport and Jabref (Wilcoxon rank-sum test; p < 0.05). There is a ~400% difference in effectiveness between the best and worst algorithm in both scenarios separately. The best performing algorithm in Sowiport (terms) is the worst performing in Jabref. The best performing algorithm in Jabref (keyphrases) is 70% worse in Sowiport, than Sowiport`s best algorithm (click-through rate; 0.1% terms, 0.03% keyphrases).

研究动机与目标

• 评估基于术语、文档嵌入和基于关键词的推荐方法在数字图书馆环境中的实际有效性。
• 评估不同数字图书馆平台间推荐算法性能差异的一致性。
• 研究算法选择对用户参与度的影响，通过生产系统中的实时点击率进行评估。
• 为现代表示学习技术（嵌入、关键词）与传统基于术语的方法在真实世界数字图书馆推荐系统中的相对有效性提供实证证据。

提出的方法

• 通过 Mr. DLib（生产级推荐服务）在 19 个月（2017 年 3 月 – 2018 年 10 月）内向 Sowiport 和 Jabref 用户提供推荐服务。
• 使用三种不同的表示方法生成推荐：TF-IDF 术语、密集文档嵌入（如神经网络生成的嵌入）以及从元数据和文本中提取的关键词。
• 通过生产系统实时记录的点击率（CTR）来度量用户参与度。
• 应用统计分析（Wilcoxon 秩和检验）比较两种数字图书馆平台上的算法性能。
• 采用在线评估方法，在真实用户条件下评估算法有效性，避免离线基准的局限性。
• 在两个不同领域中评估性能一致性：Sowiport（社会科学）和 Jabref（计算机科学与学术软件）。

实验结果

研究问题

• RQ1 在数字图书馆中，基于术语、基于文档嵌入和基于关键词的推荐算法在在线用户参与度方面如何比较？
• RQ2 推荐算法的性能排名是否在不同数字图书馆平台间保持一致？
• RQ3 在真实世界环境中，表现最佳与最差推荐方法之间的性能差异有多大？
• RQ4 在生产环境的数字图书馆推荐系统中，关键词或文档嵌入能否优于传统的基于术语的方法？
• RQ5 Sowiport 和 Jabref 平台中，不同推荐策略的点击率有何差异？

主要发现

• 推荐算法在 Sowiport 和 Jabref 中的表现存在显著差异，没有一种方法在所有系统中均表现最佳。
• 在 Sowiport 中，基于术语的方法取得了最高的点击率（0.1%）；而在 Jabref 中，基于关键词的方法表现最佳（点击率 0.03%）。
• 在某一系统中表现最佳的算法在另一系统中表现最差，表明存在强烈的领域依赖性。
• 在 Sowiport 和 Jabref 中，最佳与最差算法之间的性能差距均约为 400%。
• 在 Sowiport 中，基于关键词的方法点击率比该系统中最佳方法低 70%（0.03% 对比 0.1%）。
• 统计分析证实了不同算法之间存在显著性能差异（p < 0.05，Wilcoxon 秩和检验），验证了结果的可靠性。