[论文解读] A Capsule Network-based Embedding Model for Search Personalization

Dai Quoc Nguyen, Thanh Vu+2 more|arXiv (Cornell University)|Apr 12, 2018

Recommender Systems and Techniques参考文献 21被引用 3

一句话总结

本文提出了一种基于胶囊网络的嵌入模型，通过联合向量表示建模查询、用户与文档之间的三元关系，以增强搜索个性化。该模型在真实网络搜索日志上，相较于基线排序模型和最先进的个性化方法，提升了重排序性能。

ABSTRACT

Search personalization aims to tailor search results to each specific user based on the user's personal interests and preferences (i.e., the user profile). Recent research approaches to search personalization by modelling the potential 3-way relationship between the submitted query, the user and the search results (i.e., documents). That relationship is then used to personalize the search results to that user. In this paper, we introduce a novel embedding model based on capsule network, which recently is a breakthrough in deep learning, to model the 3-way relationships for search personalization. In the model, each user (submitted query or returned document) is embedded by a vector in the same vector space. The 3-way relationship is described as a triple of (query, user, document) which is then modeled as a 3-column matrix containing the three embedding vectors. After that, the 3-column matrix is fed into a deep learning architecture to re-rank the search results returned by a basis ranker. Experimental results on query logs from a commercial web search engine show that our model achieves better performances than the basis ranker as well as strong search personalization baselines.

研究动机与目标

• 为有效建模用户偏好、搜索查询与检索文档之间的动态交互关系，以实现个性化搜索。
• 通过学习反映个体兴趣与行为的用户特定表示，提升搜索结果的相关性。
• 开发一种深度学习架构，以捕捉用户-查询-文档三元组中的复杂、分层关系。
• 在重排序有效性方面超越现有的检索基线模型和最先进的个性化模型。

提出的方法

• 通过学习的密集表示，将每个用户、查询和文档嵌入到共享的向量空间中。
• 将三元关系（查询、用户、文档）表示为由其各自嵌入向量组成的三列矩阵。
• 使用胶囊网络架构处理该三列矩阵，以建模类似注意力的动态路由机制及三元组各组件之间的分层关系。
• 端到端训练模型，以优化基线排序器生成的结果排序。
• 最终输出是根据用户档案定制的重排序文档列表，通过可微分损失函数进行优化。

实验结果

研究问题

• RQ1 胶囊网络能否有效建模用户、查询与文档之间的三元交互关系，以实现搜索个性化？
• RQ2 所提出的胶囊嵌入模型在排序有效性方面相较于传统检索基线模型表现如何？
• RQ3 与现有最先进的个性化方法相比，该模型在个性化性能提升方面达到何种程度？
• RQ4 胶囊网络中的分层注意力机制是否比标准神经网络更好地捕捉用户特定偏好？

主要发现

• 所提出的胶囊网络嵌入模型在真实网络搜索日志上，相较于基线排序器表现出更优的性能。
• 该模型在搜索个性化任务中优于强基线模型，展现出更高的排序有效性。
• 胶囊网络的集成使得对复杂用户-查询-文档关系的建模优于传统嵌入方法。
• 结果表明，三元关系表示通过捕捉细微的用户偏好，显著增强了个性化效果。