[论文解读] Contextual Confidence and Generative AI

Shrey Jain, Zoë Hitzig+1 more|arXiv (Cornell University)|Nov 2, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出‘上下文可信度’作为框架，以应对生成式AI对沟通语境的破坏，提出包含遏制与动员策略在内的解决方案——如内容溯源、水印技术、关系型密码及上下文训练——以稳定真实沟通。该研究贡献了一个系统化的技术、社会与政策干预分类法，旨在恢复AI中介互动中的信任与语境。

ABSTRACT

Generative AI models perturb the foundations of effective human communication. They present new challenges to contextual confidence, disrupting participants' ability to identify the authentic context of communication and their ability to protect communication from reuse and recombination outside its intended context. In this paper, we describe strategies--tools, technologies and policies--that aim to stabilize communication in the face of these challenges. The strategies we discuss fall into two broad categories. Containment strategies aim to reassert context in environments where it is currently threatened--a reaction to the context-free expectations and norms established by the internet. Mobilization strategies, by contrast, view the rise of generative AI as an opportunity to proactively set new and higher expectations around privacy and authenticity in mediated communication.

研究动机与目标

• 解决生成式AI导致的上下文可信度下降问题，该问题削弱了用户识别并保护沟通真实语境的能力。
• 分析生成式AI如何通过实现内容的无上下文重用与重组，破坏传统语境标记（如身份、时间、地点与意图）的作用。
• 提出‘遏制’与‘动员’双重框架策略，以稳定受AI威胁的沟通环境中的语境。
• 倡导对上下文可信度进行标准化、实证验证的评估方法，尤其在安全审查与模型卡片中应用。
• 指出当前在开源与去中心化AI生态系统中策略的局限性，呼吁开展关于分布式模型中语境保持机制的新研究。

提出的方法

• 提出‘遏制策略’，以在语境退化的沟通环境中重新确立语境，包括内容溯源、社区注释、集中式数字身份及身份作为社会交集。
• 引入‘动员策略’，主动提升真实性与隐私标准，如水印技术、模型验证、关系型密码及抗合谋数字身份。
• 概述保护语境的技术与政策机制，包括使用与内容政策、速率限制、提示保护及可否认/消失消息。
• 倡导上下文训练、数据验证、数据合作社及安全数据共享，以将语境嵌入模型行为与数据流程中。
• 强调许多策略需要集中控制，同时指出在开源与去中心化AI生态系统中存在局限性。
• 呼吁开展实证可用性研究与调查，以评估所提策略在现实世界中的有效性及其潜在副作用。

Figure 1: Summary of parties to pursue strategies discussed in this report.

实验结果

研究问题

• RQ1 生成式AI如何从根本上破坏用户识别并保护其沟通语境的能力？
• RQ2 哪些技术、社会与政策机制能有效恢复AI中介沟通中的上下文可信度？
• RQ3 当前的问责与承诺机制（如服务条款、截图提示）在维护语境完整性方面存在哪些不足？
• RQ4 如何将水印技术、关系型密码与数据合作社等策略适配于开源与去中心化AI模型？
• RQ5 现有验证与事实核查工具存在哪些未预期的后果？如何重新设计以支持上下文可信度？

主要发现

• 生成式AI通过实现内容的无上下文重用与重组，削弱了用户识别信息来源、时间与意图的能力，从而破坏上下文可信度。
• 遏制策略如内容溯源与社区注释有助于在语境退化的沟通环境中重新确立语境，但若缺乏集中化执行，其有效性有限。
• 动员策略如水印技术与模型验证在主动嵌入真实性与可追溯性方面展现出潜力。
• 关系型密码与抗合谋数字身份为将身份与沟通语境绑定提供了创新方法，但其可扩展性与安全性仍需进一步验证。
• 当前的问责机制（如服务条款与截图通知）常被误解或应用不一致，凸显了对更清晰、以用户为中心的承诺工具的需求。
• 许多所提策略在开源AI生态系统中无效，因去中心化部署破坏了集中化政策、速率限制与界面控制。