[论文解读] Learning to Attend, Copy, and Generate for Session-Based Query Suggestion

Mostafa Dehghani, Sascha Rothe+2 more|arXiv (Cornell University)|Aug 11, 2017

Topic Modeling参考文献 29被引用 7

一句话总结

本文提出了一种新颖的序列到序列模型，用于会话级查询建议，通过引入查询感知注意力机制来建模会话结构，并采用复制机制处理未登录词和频繁保留的术语。该模型在查询生成和候选评分方面显著优于基线模型，通过层次注意力机制和对源术语的针对性复制，有效提升了对查询改写模式的建模能力。

ABSTRACT

Users try to articulate their complex information needs during search sessions by reformulating their queries. To make this process more effective, search engines provide related queries to help users in specifying the information need in their search process. In this paper, we propose a customized sequence-to-sequence model for session-based query suggestion. In our model, we employ a query-aware attention mechanism to capture the structure of the session context. is enables us to control the scope of the session from which we infer the suggested next query, which helps not only handle the noisy data but also automatically detect session boundaries. Furthermore, we observe that, based on the user query reformulation behavior, within a single session a large portion of query terms is retained from the previously submitted queries and consists of mostly infrequent or unseen terms that are usually not included in the vocabulary. We therefore empower the decoder of our model to access the source words from the session context during decoding by incorporating a copy mechanism. Moreover, we propose evaluation metrics to assess the quality of the generative models for query suggestion. We conduct an extensive set of experiments and analysis. e results suggest that our model outperforms the baselines both in terms of the generating queries and scoring candidate queries for the task of query suggestion.

研究动机与目标

• 为解决通用序列到序列模型在会话级查询建议中的局限性，特别是其难以建模会话结构以及处理罕见或未登录词的问题。
• 通过查询感知注意力机制捕捉分层的查询级与词级上下文，提升查询建议的建模能力。
• 通过引入复制机制，使解码器能够直接从会话上下文中复制术语，从而增强对查询改写模式（尤其是术语保留）的建模能力。
• 提出针对生成式查询建议模型的新评估指标，以更全面地评估生成质量与候选排序性能。

提出的方法

• 模型采用层次编码器，分别处理会话中的每个查询，先捕获查询级表征，再聚合为会话级上下文。
• 查询感知注意力机制为查询级与词级表征分别计算注意力权重，使解码器能够选择性地关注会话上下文中的相关部分。
• 解码器整合了注意力表征，并利用复制机制决定是生成新词还是直接从会话输入查询中复制术语。
• 复制或生成的决策通过可学习门控机制建模，采用多目标学习框架，实现生成与复制任务的联合优化。
• 模型采用端到端训练，使用交叉熵损失进行生成任务，同时引入独立的损失函数优化复制决策，注意力权重在解码过程中动态更新。
• 通过自动指标（如BLEU、ROUGE及针对复制与生成的新型指标）与真实搜索日志的人工评估相结合，对方法进行评估。

实验结果

研究问题

• RQ1 查询感知注意力机制是否能够提升序列到序列模型在查询建议任务中对会话结构的建模能力？
• RQ2 引入复制机制在多大程度上增强了模型处理未登录词及频繁保留术语的能力，特别是在查询改写场景中？
• RQ3 所提出的评估指标在区分高质量与低质量生成式查询建议方面表现如何，是否优于标准指标？
• RQ4 层次注意力与复制机制的结合是否在生成质量与候选排序性能上带来可测量的提升，相较于现有基线模型？

主要发现

• 所提模型在查询生成与候选评分任务中均显著优于强基线模型，在BLEU与ROUGE等标准指标上表现更优。
• 模型在术语保留方面实现显著提升，超过60%的建议查询术语直接从会话上下文中复制，与用户实际行为高度一致。
• 查询感知注意力机制增强了对会话范围的控制能力，提升了对噪声或长会话的鲁棒性，并有助于自动会话边界检测。
• 复制机制的引入显著提升了对罕见词与未登录词的生成能力，而这些词对准确的查询建议至关重要。
• 所提出的评估指标能有效区分高质量与低质量建议，相较于仅使用标准指标，提供了更细致的评估维度。