[论文解读] Delphic Costs and Benefits in Web Search: A utilitarian and historical analysis

Andrei Broder, Preston McAfee|arXiv (Cornell University)|Aug 15, 2023

Digital Marketing and Social MediaSocial Sciences被引用 3

一句话总结

本文引入了“德尔菲式成本与收益”（Delphic costs and benefits）的概念——即网络搜索中非货币化的用户体验因素，如认知负荷、时间消耗、交互性，以及虚假信息等风险——以整体性地框架化搜索引擎的效用。文章认为，搜索引擎的满意度主要源于最小化这些成本并最大化收益，并追溯了从经典信息检索到大语言模型（LLM）驱动聊天机器人的发展，其驱动力正是这一目标。

ABSTRACT

We present a new framework to conceptualize and operationalize the total user experience of search, by studying the entirety of a search journey from an utilitarian point of view. Web search engines are widely perceived as "free". But search requires time and effort: in reality there are many intermingled non-monetary costs (e.g. time costs, cognitive costs, interactivity costs) and the benefits may be marred by various impairments, such as misunderstanding and misinformation. This characterization of costs and benefits appears to be inherent to the human search for information within the pursuit of some larger task: most of the costs and impairments can be identified in interactions with any web search engine, interactions with public libraries, and even in interactions with ancient oracles. To emphasize this innate connection, we call these costs and benefits Delphic, in contrast to explicitly financial costs and benefits. Our main thesis is that the users' satisfaction with a search engine mostly depends on their experience of Delphic cost and benefits, in other words on their utility. The consumer utility is correlated with classic measures of search engine quality, such as ranking, precision, recall, etc., but is not completely determined by them. To argue our thesis, we catalog the Delphic costs and benefits and show how the development of search engines over the last quarter century, from classic Information Retrieval roots to the integration of Large Language Models, was driven to a great extent by the quest of decreasing Delphic costs and increasing Delphic benefits. We hope that the Delphic costs framework will engender new ideas and new research for evaluating and improving the web experience for everyone.

研究动机与目标

• 通过纳入用户体验的全部成本与收益，重新框架网络搜索评估，超越传统的精确率与召回率等指标。
• 识别并分类影响搜索效用的非货币化成本——包括认知、时间、交互性、隐私权衡，以及误传、误述、虚假信息、错误解读、安全缺陷等损害因素。
• 在古代神谕咨询与现代网络搜索之间建立历史类比，强调两者在用户体验挑战上的共通性。
• 分析搜索引擎的演进过程，特别是大语言模型（LLM）驱动聊天机器人兴起，如何由减少德尔菲式成本与提升德尔菲式收益的目标所驱动。
• 倡导一种整体性、功利主义的评估框架，不仅适用于搜索，还可推广至内容信息流与推荐系统。

提出的方法

• 提出一种新的概念性框架——“德尔菲式成本与收益”——以建模网络搜索中的整体用户体验，类比于古代神谕咨询。
• 将德尔菲式成本划分为访问成本、认知成本、交互成本、时间成本、隐私权衡，以及损害因素（如沟通误解、信息失真、虚假信息、错误解读、安全缺陷）。
• 通过德尔菲式成本降低与收益提升的视角，分析搜索引擎从经典信息检索到现代大语言模型（LLM）聊天机器人的演进影响。
• 评估聊天机器人在减少查询构建与结果处理负担、提升任务完成效率、支持自然语言与语音交互方面的能力。
• 评估诸如延迟增加、访问成本上升、幻觉风险等权衡因素，这些可能抵消效用的提升。
• 提出未来对搜索系统的评估应优先考虑用户效用，而非孤立的排序质量，整合上下文、意图与最终任务完成情况。

实验结果

研究问题

• RQ1 认知负荷、时间消耗、虚假信息等非货币化成本与收益如何塑造网络搜索中的用户满意度？
• RQ2 古代神谕与现代搜索引擎之间的历史类比，在多大程度上揭示了信息检索中持续存在的挑战？
• RQ3 过去25年中，搜索引擎的发展在多大程度上由最小化德尔菲式成本与最大化德尔菲式收益的目标所驱动？
• RQ4 与传统搜索引擎相比，大语言模型（LLM）驱动的聊天机器人在多大程度上减少了或增加了德尔菲式成本与收益？
• RQ5 基于德尔菲式成本与收益的功利主义、整体性评估框架，能否替代或补充传统指标（如精确率与召回率）在搜索评估中的应用？

主要发现

• 德尔菲式成本——包括认知、时间、交互性、隐私以及虚假信息等损害因素——是用户满意度的核心，且贯穿从古代神谕到现代搜索的各个信息寻求时代。
• 大语言模型（LLM）驱动的聊天机器人显著降低了查询构建与结果处理成本，通过支持自然语言交互与整合式响应，提升了任务完成效率。
• 聊天机器人在查询构建与结果消费阶段均降低了德尔菲式成本，尤其在复杂或技术性任务中表现突出，如生成代码或撰写叙事。
• 尽管存在诸多优势，聊天机器人也带来了延迟增加、访问成本上升以及幻觉与虚假信息风险，可能损害信任并引发验证需求，从而抵消时间节省的收益。
• 聊天机器人输出的精致外观可能制造一种虚假的可靠性错觉，例如专家曾错误地接受对不存在的法律案例的引用。
• 对搜索系统的整体评估必须超越排序质量，纳入用户上下文、任务完成情况，以及德尔菲式成本与收益的完整谱系，以真实反映其效用。