[论文解读] Advancing the Search Frontier with AI Agents

Ryen W. White|arXiv (Cornell University)|Nov 2, 2023

AI-based Problem Solving and Planning被引用 5

一句话总结

本文提出将AI副驾驶作为变革性代理，通过整合自然语言理解、任务建模和多步推理，推动复杂搜索任务的发展。借助生成式AI，副驾驶能够在任务层级（宏观任务、子任务和操作）上实现端到端支持，尤其在处理定义不清、多会话及认知负荷高的查询时，显著提升搜索完成度。

ABSTRACT

As many of us in the information retrieval (IR) research community know and appreciate, search is far from being a solved problem. Millions of people struggle with tasks on search engines every day. Often, their struggles relate to the intrinsic complexity of their task and the failure of search systems to fully understand the task and serve relevant results. The task motivates the search, creating the gap/problematic situation that searchers attempt to bridge/resolve and drives search behavior as they work through different task facets. Complex search tasks require more than support for rudimentary fact finding or re-finding. Research on methods to support complex tasks includes work on generating query and website suggestions, personalizing and contextualizing search, and developing new search experiences, including those that span time and space. The recent emergence of generative artificial intelligence (AI) and the arrival of assistive agents, based on this technology, has the potential to offer further assistance to searchers, especially those engaged in complex tasks. There are profound implications from these advances for the design of intelligent systems and for the future of search itself. This article, based on a keynote by the author at the 2023 ACM SIGIR Conference, explores these issues and how AI agents are advancing the frontier of search system capabilities, with a special focus on information interaction and complex task completion.

研究动机与目标

• 解决传统搜索引擎因任务复杂性和系统理解能力不足而无法解决的复杂搜索任务这一长期挑战。
• 探索AI副驾驶如何在时间、设备和应用之间跨域建模并支持多步、定义不清的任务。
• 开发任务树框架，用于表示宏观任务、子任务和操作，以实现更优的系统建模与用户支持。
• 研究副驾驶在生产力工具和网络生态系统中的集成，以实现无缝、上下文感知的辅助服务。
• 通过可验证性、高效性与负责任的AI实践，确保AI副驾驶部署过程中的可信性、隐私保护与可持续性。

提出的方法

• 将复杂任务表示为分层任务树，包含宏观任务（高层次目标）、子任务（组件）和操作（用户步骤）。
• 利用大语言模型（LLMs）实现自然语言理解，以解析用户目标并生成任务感知的响应。
• 通过对话式、多轮交互实现副驾驶交互，持续跟踪跨查询与会话的任务进展。
• 将副驾驶集成至应用程序（如浏览器、生产力工具）中，利用上下文感知能力提升响应的相关性。
• 利用大语言模型支持任务预测、分解与识别，以预判用户需求并建议下一步操作。
• 设计隐私保护且高效的推理流水线，以降低大模型使用带来的成本与碳足迹。

Figure 1. Task tree representation for a complex task involving planning a vacation to Paris, France. The tree depicts different task granularities (macrotask, subtask, action) and different task applications (decomposition, prediction, recognition) as moves around the tree. Time progresses from lef

实验结果

研究问题

• RQ1 AI副驾驶如何提升传统搜索引擎无法解决的复杂、多步搜索任务的完成度？
• RQ2 通过任务树实现的任务建模在帮助系统理解并支持复杂搜索行为方面发挥何种作用？
• RQ3 如何在应用和设备之间有效集成副驾驶，以支持端到端的任务执行？
• RQ4 大规模部署AI副驾驶面临哪些经济与可持续性挑战，又该如何缓解？
• RQ5 在不损害性能的前提下，如何在AI辅助搜索中保持信任、可验证性与用户控制权？

主要发现

• 超过一半的网络搜索未得到回答，主要原因在于当前搜索系统无法支持复杂且定义不清的任务。
• AI副驾驶通过自然语言理解与生成能力，显著拓展了任务边界，实现了对宏观任务与子任务的支持。
• 任务树为建模复杂搜索任务提供了结构化框架，使系统能够跨多个查询与会话追踪并辅助用户。
• 将副驾驶集成至浏览器和生产力工具中，可实现上下文感知的辅助服务，提升响应相关性与任务完成率。
• 大模型推理成本高昂且对环境影响显著，因此必须通过模型专业化与自适应计算实现可扩展性与可持续性。
• 可信性与可验证性至关重要——用户必须能够验证副驾驶的输出，以避免“重复使用悖论”，并保障内容质量与内容创作者的可持续发展。

Figure 2. Microsoft’s copilot stack depicting the various layers and the important role of AI safety across the stack.