[论文解读] Exploring Current User Web Search Behaviours in Analysis Tasks to be Supported in Conversational Search

Abhishek Kaushik, Gareth J. F. Jones|arXiv (Cornell University)|Apr 9, 2021

Topic Modeling参考文献 6被引用 8

一句话总结

本研究通过分析用户在复杂分析任务中的网络搜索行为，旨在为设计能够减轻认知负荷并提升效率的对话式搜索代理提供依据。通过对比有背景故事与无背景故事两种情境下的搜索会话，作者识别出不同的用户类型，并发现用户在查询重构过程中越来越依赖于检索到的文档内容——这凸显了代理通过用户对文档的互动主动建议查询扩展的潜力。

ABSTRACT

Conversational search presents opportunities to support users in their search activities to improve the effectiveness and efficiency of search while reducing their cognitive load. Limitations of the potential competency of conversational agents restrict the situations for which conversational search agents can replace human intermediaries. It is thus more interesting, initially at least, to investigate opportunities for conversational interaction to support less complex information retrieval tasks, such as typical web search, which do not require human-level intelligence in the conversational agent. In order to move towards the development of a system to enable conversational search of this type, we need to understand their required capabilities. To progress our understanding of these, we report a study examining the behaviour of users when using a standard web search engine, designed to enable us to identify opportunities to support their search activities using a conversational agent.

研究动机与目标

• 理解用户当前如何执行复杂网络搜索任务，以指导对话式搜索代理的设计。
• 识别用户在涉及多份文档分析的信息检索任务中的行为模式。
• 考察背景故事的存在与否如何影响搜索策略、查询重构及认知努力。
• 为开发能够基于用户与检索文档的互动主动支持查询优化和知识整合的对话式代理提供依据。

提出的方法

• 对20名高级水平学生开展用户研究，使用商业网络搜索引擎，在有背景故事和无背景故事两种条件下进行实验。
• 根据用户的搜索策略、每份文档的停留时间及查询重构模式，将用户划分为三种行为类型（A、B、C）。
• 分析搜索会话日志、查询历史记录及视频录像，以识别用户对文档的参与模式与查询演变规律。
• 采用Vakkari的搜索学习模型作为理论框架，从知识发展与精炼的角度解释用户行为。
• 发现无背景故事条件下，用户越来越多地从检索到的文档中提取查询术语，而非原始背景故事。
• 提出对话式代理可通过分析用户对文档的互动行为，主动建议与主题相关术语，实现查询重构的自动化。

实验结果

研究问题

• RQ1 当用户具备不同背景知识水平和兴趣程度时，他们在有背景故事与无背景故事情境下如何应对复杂网络搜索任务？
• RQ2 在缺乏预设背景故事的情况下，分析任务中查询重构与文档参与行为呈现出何种模式？
• RQ3 用户搜索行为在多大程度上符合信息寻求模型（如Vakkari的搜索学习模型）？
• RQ4 用户在多大程度上依赖检索到的文档内容来优化其查询？这对对话式代理设计有何启示？
• RQ5 对话式搜索代理应具备哪些能力，才能在分析任务中减轻用户认知负荷并提升搜索效率？

主要发现

• 无背景故事条件下，用户在搜索任务上投入了显著更多的精力，表明其认知负荷高于有背景故事条件。
• 类型C用户（具有高先验知识和兴趣）在查询重构中仍更多依赖文档内容而非背景故事，尤其在后期查询中表现明显。
• 无背景故事条件下，查询重构更大量地使用了从检索文档中提取的词汇，而非原始背景故事中的词汇。
• 类型B用户（知识水平较低、兴趣较弱）快速浏览更多文档，表明其采用浅层扫描策略以建立主题理解。
• 研究发现用户积极将检索到的文档作为主题相关词汇的来源以优化查询，表明代理驱动的查询扩展具有强大潜力。
• 研究结果支持设计能够分析用户与文档互动行为并基于内容和用户行为主动建议查询优化的对话式代理。