[论文解读] Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling

Emily Dinan, Gavin Abercrombie+5 more|arXiv (Cornell University)|Jul 7, 2021

Topic Modeling参考文献 186被引用 16

一句话总结

本文提出了一套用于端到端对话式人工智能模型的安全框架与工具套件，解决了毒性生成和情境有害响应等风险。该框架整合了价值敏感设计原则、情境评估与自适应基准测试，以在训练和部署过程中主动预见并缓解安全问题。

ABSTRACT

Over the last several years, end-to-end neural conversational agents have vastly improved in their ability to carry a chit-chat conversation with humans. However, these models are often trained on large datasets from the internet, and as a result, may learn undesirable behaviors from this data, such as toxic or otherwise harmful language. Researchers must thus wrestle with the issue of how and when to release these models. In this paper, we survey the problem landscape for safety for end-to-end conversational AI and discuss recent and related work. We highlight tensions between values, potential positive impact and potential harms, and provide a framework for making decisions about whether and how to release these models, following the tenets of value-sensitive design. We additionally provide a suite of tools to enable researchers to make better-informed decisions about training and releasing end-to-end conversational AI models.

研究动机与目标

• 应对在未经筛选的互联网数据上训练的端到端（E2E）对话式人工智能模型中日益增长的有害输出风险。
• 识别并分类与对话系统特有的安全关键场景，包括‘煽动者’（Tay）效应和‘附和者’（ELIZA）效应。
• 基于价值敏感设计构建决策框架，以指导对话式人工智能模型的负责任发布。
• 为研究人员提供实用工具，以在模型开发与部署过程中评估、测试并缓解安全风险。
• 通过倡导随社会价值观演变而更新的基准测试与终身学习机制，提升长期适应能力。

提出的方法

• 提出一个三层级安全框架，用于分类风险：煽动者（Tay）效应（毒性生成）、附和者（ELIZA）效应（情境中的有害认同）以及危机响应失败（对用户痛苦缺乏适当应对）。
• 整合价值敏感设计原则，以在模型开发与发布决策中平衡伦理价值、潜在益处与风险。
• 开发一套用于检测与度量安全问题的工具，包括情境意识评估与对抗性测试流程。
• 倡导采用检索增强生成与知识对齐技术，以提升事实一致性并减少幻觉现象。
• 引入动态评估基准（如 Dynabench），以检测虚假相关性并适应不断变化的社会规范。
• 支持终身学习与在线微调，使模型能够适应快速变化的价值观，例如疫情相关的行为转变。

实验结果

研究问题

• RQ1 研究人员如何系统性地预见并分类端到端对话式人工智能模型中的安全风险，而不仅限于简单的毒性检测？
• RQ2 对话智能体特有的关键安全关键场景是什么？它们与通用语言模型的风险有何不同？
• RQ3 如何将价值敏感设计原则具体化，以指导对话式人工智能中的负责任模型发布决策？
• RQ4 哪些工具与评估方法论可帮助研究人员在训练与部署过程中检测并缓解有害行为？
• RQ5 基准测试与模型架构如何演进，以跟上不断变化的社会价值观与伦理标准？

主要发现

• 由于互联网来源的数据污染，‘煽动者’（Tay）效应——即模型独立生成冒犯性内容——仍然是一个重大风险。
• ‘附和者’（ELIZA）效应——即模型在缺乏情境推理的情况下无批判地认同有害陈述——在对话系统中构成独特危险。
• 危机响应失败——即模型未能适当地回应处于痛苦中的用户——可能导致严重现实后果，包括危及生命的结果。
• 当前的评估基准往往无法检测到虚假相关性或数据特征，如在视觉问题回答（VQA）与心智理论任务中所示，因此需要像 Dynabench 这类动态、对抗性评估方法。
• 静态大语言模型无法适应快速的社会价值观转变（如疫情限制），凸显了对终身学习或在线学习框架的需求。
• 检索增强生成与知识对齐技术通过利用外部知识约束响应，提高了事实一致性并减少了不安全生成。