[论文解读] Commercialized Generative AI: A Critical Study of the Feasibility and Ethics of Generating Native Advertising Using Large Language Models in Conversational Web Search

Ines Zelch, Matthias Hagen+1 more|arXiv (Cornell University)|Oct 7, 2023

AI in Service InteractionsComputer Science被引用 3

一句话总结

本文研究了在大型语言模型（LLMs）驱动的生成式AI对话式网络搜索中整合原生广告的可行性及其伦理影响。通过使用GPT-4和You Chat进行提示工程，研究证明LLM能够将产品植入无缝融入自然响应中，模糊广告与搜索结果之间的界限——引发用户欺骗的担忧，以及作为信息中介的搜索信任度下降。

ABSTRACT

How will generative AI pay for itself? Unless charging users for access, selling advertising is the only alternative. Especially in the multi-billion dollar web search market with ads as the main source of revenue, the introduction of a subscription model seems unlikely. The recent disruption of search by generative large language models could thus ultimately be accompanied by generated ads. Our concern is that the commercialization of generative AI in general and large language models in particular could lead to native advertising in the form of quite subtle brand or product placements. In web search, the evolution of search engine results pages (SERPs) from traditional lists of ``ten blue links'' (lists SERPs) to generated text with web page references (text SERPs) may further blur the line between advertising-based and organic search results, making it difficult for users to distinguish between the two, depending on how advertising is integrated and disclosed. To raise awareness of this potential development, we conduct a pilot study analyzing the capabilities of current large language models to blend ads with organic search results. Although the models still struggle to subtly frame ads in an unrelated context, their potential is evident when integrating ads into related topics which calls for further investigation.

研究动机与目标

• 评估在LLM驱动的对话式搜索结果中生成原生广告的可行性。
• 研究大型语言模型在上下文相关、自然响应中整合推广内容的难易程度。
• 审视此类整合的伦理影响，特别是因广告与自然结果界限模糊而带来的用户欺骗风险。
• 强调搜索引擎在生成式AI时代作为信息中介的社会责任。
• 呼吁对生成式AI系统进行早期审查、制定披露标准，并实施外部审计，以防止大规模操纵。

提出的方法

• 通过提示工程开展试点研究，指导GPT-4和You Chat生成包含嵌入式产品投放的搜索响应。
• 评估模型在上下文相关、非促销语气的文本中自然呈现广告的能力。
• 分析输出内容在连贯性、相关性以及推广内容的隐蔽整合方面表现，无明显标注。
• 使用示例（如旅行或科技查询中的产品推荐）展示整合模式。
• 通过模拟‘Ad’标签置于生成文本下方的方式，评估披露实践，模仿真实世界SERP布局。
• 借鉴既有原生广告与用户感知研究，构建伦理担忧与设计启示。

实验结果

研究问题

• RQ1 大型语言模型如GPT-4和You Chat能否生成在上下文中相关且在风格上与自然内容无法区分的原生广告？
• RQ2 LLM在对话式搜索界面中，能在多大程度上模糊付费广告与自然搜索结果之间的界限？
• RQ3 在文本搜索结果中整合原生广告存在哪些伦理风险，特别是当披露被延迟或隐藏时？
• RQ4 原生广告在文本SERP中逐步引入，可能如何随时间影响用户信任度与搜索行为？
• RQ5 哪些披露机制能有效告知用户AI生成广告的存在，同时又不易被忽略？

主要发现

• GPT-4和You Chat等LLM能够以最小干扰成功将产品投放整合进自然响应中。
• 即使采用基础提示工程，也能生成上下文嵌入自然、风格与自然语言响应一致的原生广告。
• 将广告整合进文本SERP可能显著降低用户区分自然内容与付费内容的能力，尤其当‘Ad’标签仅置于生成文本下方时。
• 研究证实，与传统列表SERP相比，文本SERP中欺骗风险更高，因为后者中广告更明显地分隔开。
• 尽管有披露要求，用户仍可能未注意到或错误理解‘Ad’标签，特别是当标签不显眼时。
• 研究结果强调迫切需要透明且可执行的披露标准，以及对用于搜索的生成式AI系统的外部审计。