[论文解读] A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion

Alessandro Sordoni, Yoshua Bengio+4 more|arXiv (Cornell University)|Jul 8, 2015

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出了一种分层循环编码器-解码器模型，用于生成式、上下文感知的查询建议，能够处理可变长度的查询序列，并为罕见或长尾查询生成合成建议。通过利用词级嵌入和序列建模，该模型在下一查询预测方面优于现有的上下文感知方法，并通过端到端训练和高效解码生成高质量、多样化的建议。

ABSTRACT

Users may strive to formulate an adequate textual query for their information need. Search engines assist the users by presenting query suggestions. To preserve the original search intent, suggestions should be context-aware and account for the previous queries issued by the user. Achieving context awareness is challenging due to data sparsity. We present a probabilistic suggestion model that is able to account for sequences of previous queries of arbitrary lengths. Our novel hierarchical recurrent encoder-decoder architecture allows the model to be sensitive to the order of queries in the context while avoiding data sparsity. Additionally, our model can suggest for rare, or long-tail, queries. The produced suggestions are synthetic and are sampled one word at a time, using computationally cheap decoding techniques. This is in contrast to current synthetic suggestion models relying upon machine learning pipelines and hand-engineered feature sets. Results show that it outperforms existing context-aware approaches in a next query prediction setting. In addition to query suggestion, our model is general enough to be used in a variety of other applications.

研究动机与目标

• 解决上下文感知查询建议中的数据稀疏性问题，特别是针对罕见或长尾查询。
• 实现对训练数据中未出现的合成查询建议的生成，从而在覆盖范围上超越共现-based方法。
• 将用户查询会话建模为序列上下文，以保留重写模式并提高建议的相关性。
• 开发一种对可变长度查询历史具有鲁棒性且对历史查询顺序敏感的神经架构。
• 通过标准解码技术实现高效、可扩展的推理，同时保持高质量、上下文相关的建议。

提出的方法

• 采用具有两层的分层循环编码器-解码器架构：词级RNN和查询级RNN，用于建模查询序列。
• 使用词嵌入和查询嵌入以捕捉语义关系，使嵌入空间中的相似词和查询能够聚类。
• 通过最大化观测到的查询会话的似然性，实现端到端训练，从而联合优化上下文表示和生成过程。
• 通过自回归解码生成建议，逐词生成，条件依赖于先前所有查询的完整历史。
• 通过在上下文中的词语间共享统计权重来缓解数据稀疏性问题，将查询序列视为分布式表示。
• 引入特殊的结束查询标记以表示生成完成，并从生成的词序列中形成最终建议。

实验结果

研究问题

• RQ1 神经序列模型能否有效从可变长度查询会话中捕捉长期上下文，以提升下一查询预测性能？
• RQ2 生成式模型在不依赖训练数据共现关系的情况下，能在多大程度上为罕见或未见查询生成高质量、合成的建议？
• RQ3 与现有的基于计数或特征工程的模型相比，分层RNN架构在长尾查询的覆盖范围和相关性方面表现如何？
• RQ4 该模型能否生成多样化且上下文恰当的重写建议，以反映用户行为中的泛化或具体化模式？
• RQ5 通过可微分的、端到端训练生成建议的能力，是否能带来可测量的检索性能提升？

主要发现

• 所提出的模型在下一查询预测方面优于现有上下文感知模型，以平均倒数排名（MRR）衡量，显示出更优的排序质量。
• 用户研究表明，该模型生成的合成建议在感知相关性和实用性方面优于基线方法。
• 分层RNN架构能有效建模查询会话中的长距离依赖关系和重写模式，即使在可变长度上下文条件下亦然。
• 学习到的嵌入表现出聚类行为，语义上相似的查询和词在向量空间中位置相近。
• 通过将上下文建模为共享统计权重的词序列，该模型减轻了数据稀疏性问题，并能很好地泛化到罕见查询。
• 该模型具有灵活性和可扩展性，可轻松适配其他NLP任务，如自动补全、语言建模和下一个词预测。