[论文解读] In conversation with Artificial Intelligence: aligning language models with human values

Atoosa Kasirzadeh, Iason Gabriel|arXiv (Cornell University)|Sep 1, 2022

Ethics and Social Impacts of AI被引用 15

一句话总结

本文提出一种基于原则的方法，通过将理想的对话规范建立在语用学理论和言语行为理论基础上，实现对话式人工智能与人类价值观的对齐。该方法基于格里塞的准则和情境敏感规范，识别出科学、公共事务和创造性沟通等领域的特定话语理想，为设计更真实、尊重且符合伦理的语言智能体提供框架。

ABSTRACT

Large-scale language technologies are increasingly used in various forms of communication with humans across different contexts. One particular use case for these technologies is conversational agents, which output natural language text in response to prompts and queries. This mode of engagement raises a number of social and ethical questions. For example, what does it mean to align conversational agents with human norms or values? Which norms or values should they be aligned with? And how can this be accomplished? In this paper, we propose a number of steps that help answer these questions. We start by developing a philosophical analysis of the building blocks of linguistic communication between conversational agents and human interlocutors. We then use this analysis to identify and formulate ideal norms of conversation that can govern successful linguistic communication between humans and conversational agents. Furthermore, we explore how these norms can be used to align conversational agents with human values across a range of different discursive domains. We conclude by discussing the practical implications of our proposal for the design of conversational agents that are aligned with these norms and values.

研究动机与目标

• 通过超越伤害缓解，转向价值对齐，解决大规模语言模型在对话式人工智能中面临的伦理与社会挑战。
• 识别并形式化支撑成功人机交互的言语沟通理想规范。
• 通过基于语用学和言语行为理论的原则化方法，将这些规范付诸实践。
• 展示这些规范如何在科学、公共事务和创造性沟通等不同话语领域中实现适应。
• 为基于沟通质量与伦理对齐的对话智能体评估与优化提供基础。

提出的方法

• 对人机对话的基本构成要素进行哲学与语言学分析，重点关注言语行为与语用规范。
• 以格里塞准则（真实性、适量性、相关性、得体性）作为评估与引导对话质量的核心框架。
• 绘制科学、公共事务和创造性沟通等领域的特定话语理想，识别每种情境下的情境敏感规范。
• 提出对话智能体应避免使用拟人化表达，除非能透明地证明其合理性并符合福祉原则。
• 引入“语境建构与阐明”概念，即智能体主动提供相关语境信息，以深化对话。
• 倡导透明、重视价值观的设计，避免将权威或心理状态错误归因于人工智能。

实验结果

研究问题

• RQ1 理想的人机对话沟通应如何界定，又如何实现形式化？
• RQ2 语用规范（如格里塞准则）如何应用于不同对话领域，以实现语言模型与人类价值观的对齐？
• RQ3 对话智能体在不拟人化的情况下，如何支持更尊重、更真实且情境恰当的对话？
• RQ4 如何区分有害输出的缺失与美德性、高质量沟通的有无？
• RQ5 语境建构与阐明在提升人机对话的深度与完整性方面发挥何种作用？

主要发现

• 本文指出，理想的对话智能体必须遵守基于语用规范的领域特定话语理想，如真实性、相关性与清晰性。
• 研究表明，仅消除有害输出不足以实现价值对齐，因为美德性沟通需要主动培育积极规范。
• 必须谨慎评估AI回应中使用表达性或施事性语言的行为，以避免不当的拟人化或权威误认。
• 对话智能体可通过主动建构与阐明语境，提升对话质量，从而支持更深入、更尊重的交流。
• 该框架实现了从被动伤害缓解到主动设计沟通得体且伦理对齐的AI系统的转变。
• 该方法为人工作评估与自动化评估提供了基础，评估依据为沟通质量与规范对齐程度。