[论文解读] Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search

Helia Hashemi, Hamed Zamani+1 more|arXiv (Cornell University)|Jun 13, 2020

Topic Modeling参考文献 51被引用 7

一句话总结

本文提出Guided Transformer（GT），一种新颖的注意力机制，通过将多个外部来源——包括检索到的顶级文档和候选澄清问题——整合到注意力机制中，增强基于Transformer的对话搜索表示。该模型在Qulac数据集上的文档检索任务中实现了超过29%的相对MRR提升，且在下一问题澄清选择任务中表现优于最先进基线模型，证明了多源外部引导在从模糊查询中学习用户意图方面的有效性。

ABSTRACT

Asking clarifying questions in response to ambiguous or faceted queries has been recognized as a useful technique for various information retrieval systems, especially conversational search systems with limited bandwidth interfaces. Analyzing and generating clarifying questions have been studied recently but the accurate utilization of user responses to clarifying questions has been relatively less explored. In this paper, we enrich the representations learned by Transformer networks using a novel attention mechanism from external information sources that weights each term in the conversation. We evaluate this Guided Transformer model in a conversational search scenario that includes clarifying questions. In our experiments, we use two separate external sources, including the top retrieved documents and a set of different possible clarifying questions for the query. We implement the proposed representation learning model for two downstream tasks in conversational search; document retrieval and next clarifying question selection. Our experiments use a public dataset for search clarification and demonstrate significant improvements compared to competitive baselines.

研究动机与目标

• 为解决在查询模糊或具有多面性时，准确表示对话搜索中用户信息需求的挑战。
• 通过利用外部信息源（如顶级检索文档和候选澄清问题）来提升文档检索和下一问题澄清选择的性能。
• 开发一种多任务学习框架，联合优化主任务和辅助意图分类任务，以增强表示学习。
• 通过利用用户回复和外部上下文来细化查询理解，实现更有效的混合主导型对话搜索中的澄清。
• 探索将多样化外部来源（如点击流数据、查询日志和知识库）整合到神经架构中，以提升对话信息检索性能。

提出的方法

• 在标准Transformer架构基础上，引入一种新颖的多源注意力机制，通过外部来源的信息动态加权对话中的词元。
• 整合两种外部来源：顶级检索文档（模拟伪相关反馈）和查询的候选澄清问题池。
• 以BERT作为基础文本编码器，并在输入中添加任务嵌入向量，以适应多任务学习。
• 采用多任务学习目标：主任务（文档检索或下一澄清问题选择）和辅助任务（从一组备选中识别正确查询意图）。
• 使用联合损失函数端到端训练模型，同时优化主任务和辅助任务。
• 将模型应用于两个下游任务：(1) 评估文档与对话的相关性得分；(2) 选择下一澄清问题以提升搜索质量。

实验结果

研究问题

• RQ1 将多个外部信息源整合到Transformer模型的注意力机制中，是否能提升对话搜索的表示学习效果？
• RQ2 将顶级检索文档和候选澄清问题作为外部信号，对文档检索和下一问题澄清选择的性能有何影响？
• RQ3 通过辅助意图分类头进行多任务学习，是否能提升模型在模糊查询中理解用户信息需求的能力？
• RQ4 在仅获得极少用户反馈（如'no'或'yes'）的情况下，外部源能在多大程度上缓解学习挑战？
• RQ5 在离线评估中，所提出的Guided Transformer与最先进模型（如BERT-NeuQS和LambdaMART）相比，在澄清问题选择任务中的表现如何？

主要发现

• 所提出的Guided Transformer模型在文档检索任务中相比竞争性基线模型（包括BERT-NeuQS）实现了超过29%的相对MRR提升。
• 多任务学习设置始终优于单任务学习，表明辅助意图分类任务有助于增强表示学习。
• 在下一澄清问题选择任务中，该模型显著优于强基线模型（如LambdaMART和RankNet），证明了外部源集成的价值。
• 案例研究显示，GT能有效利用外部源改善表示，即使用户回复极少（如'no'），而BERT在类似场景下表现不佳。
• 该模型与理想上限（oracle upper bound）之间的性能差距表明，在澄清问题选择任务中仍有巨大改进空间。
• 该模型利用检索文档和候选问题等外部源的能力，显著提升了查询意图的消歧能力，尤其在低语句或负面反馈场景下表现更优。