[论文解读] The Use of Generative Search Engines for Knowledge Work and Complex Tasks

Siddharth Suri, Scott Counts+12 more|arXiv (Cornell University)|Mar 19, 2024

Semantic Web and Ontologies被引用 5

一句话总结

该论文通过实证分析生成式搜索引擎（Bing Copilot）在知识工作和复杂任务中的使用情况，显示相较于传统搜索，任务具有更高的认知复杂性。

ABSTRACT

Until recently, search engines were the predominant method for people to access online information. The recent emergence of large language models (LLMs) has given machines new capabilities such as the ability to generate new digital artifacts like text, images, code etc., resulting in a new tool, a generative search engine, which combines the capabilities of LLMs with a traditional search engine. Through the empirical analysis of Bing Copilot (Bing Chat), one of the first publicly available generative search engines, we analyze the types and complexity of tasks that people use Bing Copilot for compared to Bing Search. Findings indicate that people use the generative search engine for more knowledge work tasks that are higher in cognitive complexity than were commonly done with a traditional search engine.

研究动机与目标

• 激发对生成式搜索引擎如何补充或替代传统搜索在知识工作和复杂任务中的理解。
• 描述用户在生成式搜索引擎与传统搜索引擎下执行的任务类型。
• 评估由生成式搜索引擎所启用的知识工作中的认知复杂性和性质。
• 提供实证见解，以告知生成式搜索工具的设计、使用和治理。

提出的方法

• 对 Bing Copilot（生成式搜索引擎）与 Bing Search 的实证分析。
• 对两系统的任务类型与认知复杂性进行比较。
• 分析可能包括用户交互数据和任务分类，以识别知识工作任务与简单搜索任务。
• 采用描述性统计和定性观察，探讨结果如何被用于生成产物或解决方案。

实验结果

研究问题

• RQ1 与传统搜索引擎相比，用户在生成式搜索引擎上执行的任务类型是什么？
• RQ2 生成式搜索引擎在知识工作中是否比传统搜索引擎更能支持更高认知复杂度的任务？
• RQ3 使用生成式搜索引擎进行知识工作和复杂任务的影响是什么？
• RQ4 用户在现实任务中如何与生成式搜索引擎的输出互动并利用它们？

主要发现

• 生成式搜索引擎被用于认知复杂性高于常见使用传统搜索完成的知识工作任务。
• 用户利用生成的产物和综合信息来支持复杂问题解决。
• 该研究提供了关于生成式搜索引擎在知识工作中增值的任务类型的实证证据。