[论文解读] Augmenting recommendation systems using a model of semantically-related terms extracted from user behavior

Khalifeh AlJadda, Mohammed Korayem+6 more|arXiv (Cornell University)|Sep 8, 2014

Recommender Systems and Techniques参考文献 9被引用 5

一句话总结

本文提出了一种语言无关的、基于众包的语义发现系统，通过从大规模用户搜索日志中提取潜在语义关系，以增强推荐系统。通过使用针对大规模分层数据的概率图模型（PGMHD），该系统推断语义相关的关键词，改善用户分类，并实现基于最近邻的协同过滤——在发现的相关术语中，错误率最高仅为2%。

ABSTRACT

Common difficulties like the cold-start problem and a lack of sufficient information about users due to their limited interactions have been major challenges for most recommender systems (RS). To overcome these challenges and many similar ones that result in low accuracy (precision and recall) recommendations, we propose a novel system that extracts semantically-related search keywords based on the aggregate behavioral data of many users. These semantically-related search keywords can be used to substantially increase the amount of knowledge about a specific user's interests based upon even a few searches and thus improve the accuracy of the RS. The proposed system is capable of mining aggregate user search logs to discover semantic relationships between key phrases in a manner that is language agnostic, human understandable, and virtually noise-free. These semantically related keywords are obtained by looking at the links between queries of similar users which, we believe, represent a largely untapped source for discovering latent semantic relationships between search terms.

研究动机与目标

• 解决推荐系统中的冷启动问题，即用户交互数据有限导致推荐准确率低的问题。
• 通过利用聚合用户行为推断搜索词之间的语义关系，克服传统协同过滤和基于内容过滤的局限性。
• 开发一种可扩展的、语言无关的方法，从数十亿条搜索查询中发现特定领域的语义关系，而无需依赖语言特定的自然语言处理技术。
• 通过补充语义相关的关键词并基于查询模式对用户进行分类，提升用户画像，从而提高推荐精度。
• 通过在用户分类聚类内进行最近邻选择，将语义增强与协同过滤相结合，以优化推荐结果。

提出的方法

• 使用针对大规模分层数据的概率图模型（PGMHD）对用户搜索日志进行建模，并推断关键词之间的语义关系。
• 通过分类用户、提取搜索词、按用户聚合关键词，并将分类信息与搜索词数据结合，对搜索日志进行预处理。
• 应用一种基于众包的潜在语义发现引擎，通过分析相似用户查询中的共现模式来识别语义关系。
• 使用PGMHD计算用户分类的概率得分，选择得分最高的类别以约束推荐空间。
• 采用k-最近邻（k-NN）方法，利用搜索关键词的向量表示和距离度量（例如汉明距离、欧几里得距离），在最高分类内识别相似用户。
• 设计一种增强引擎（AE），根据置信度阈值和邻居可用性，动态选择最优的推荐策略（搜索查询增强、用户分类增强或最近邻增强）。

实验结果

研究问题

• RQ1 能否在不依赖语言特定NLP的前提下，从聚合用户行为中有效发现搜索词之间的语义关系？
• RQ2 从大规模用户搜索日志中提取的潜在语义关系，能在多大程度上提升推荐系统的准确性，特别是在冷启动场景下？
• RQ3 当与语义关键词增强结合时，基于查询模式的用户分类在多大程度上能提升推荐精度？
• RQ4 通过将搜索空间限制在最高概率用户分类簇内，能否改进基于最近邻的协同过滤？
• RQ5 在大型就业门户网站的真实搜索日志上验证时，所发现的语义关系的错误率是多少？

主要发现

• 该系统成功从16亿条搜索日志中发现语义相关的关键词，内容过滤验证的错误率最高仅为2%。
• 语义发现引擎识别出了有意义且人类可理解的词间关系，例如'hadop'与'big data'、'Java'和'Python'之间的关联。
• PGMHD模型实现了可扩展的、语言无关的用户意图与分类推断，概率得分用于约束推荐空间。
• 在最高用户分类内集成最近邻增强，通过聚焦于最相似用户，显著提升了推荐精度。
• 增强引擎根据置信度和邻居可用性，动态选择最优推荐策略（查询增强、分类增强或邻居增强）。
• 该系统在CareerBuilder的实际生产环境中得到验证，支持每小时超过一百万次搜索，以及数百万份职位信息和简历。