[论文解读] Interactive AI Alignment: Specification, Process, and Evaluation Alignment

Michael Terry, Chinmay Kulkarni+3 more|arXiv (Cornell University)|Oct 23, 2023

Ethics and Social Impacts of AI被引用 16

一句话总结

这篇论文将 AI 对齐映射到一个三步交互循环，并为交互式 AI 定义了规范、过程和评估对齐，引入代理过程和 Process Gulf，以提升用户的控制力和理解。

ABSTRACT

Modern AI enables a high-level, declarative form of interaction: Users describe the intended outcome they wish an AI to produce, but do not actually create the outcome themselves. In contrast, in traditional user interfaces, users invoke specific operations to create the desired outcome. This paper revisits the basic input-output interaction cycle in light of this declarative style of interaction, and connects concepts in AI alignment to define three objectives for interactive alignment of AI: specification alignment (aligning on what to do), process alignment (aligning on how to do it), and evaluation alignment (assisting users in verifying and understanding what was produced). Using existing systems as examples, we show how these user-centered views of AI alignment can be used descriptively, prescriptively, and as an evaluative aid.

研究动机与目标

• 将 AI 对齐概念映射到一个基本的用户-系统交互循环（输入、处理、输出）。
• 定义三个交互式对齐目标：规范对齐、过程对齐和评估支持。
• 引入代理过程和 Process Gulf，以解释并弥合人机在输出生成中的差异。
• 用图像生成和代码合成系统的分析来说明该框架。
• 在 AI 对齐与人机交互（HCI）的交叉领域识别未来的研究方向。

提出的方法

• 提出一个三步交互模型（用户输入、系统处理、用户评估）作为对齐的基础。
• 定义并阐明规范对齐、过程对齐和评估支持及其子类别（结果规范、规范约束、手段对齐、控制对齐、代理过程、验证支持、理解支持）。
• 引入代理过程，作为对 AI 实际过程的简化、可控表示，以帮助控制和理解。
• 定义 Process Gulf，以描述人类与 AI 过程之间的定性差异及其对控制带来的挑战。
• 回顾并将其与 Horvitz 的混合主动性原理和 Amershi 等人的准则联系起来，以使该框架在现有的 HCI 和 AI 对齐文献中扎根。
• 将该框架应用于分析图像生成和代码合成的真实系统，以展示描述性和规范性价值。

Figure 1. Basic models of interaction. A: In interacting with a traditional non-AI system, the user chooses an operation to perform and provides input to the system to perform that operation (1). The system performs the operation (2), then provides the output to the user, which they assess (3) with

实验结果

研究问题

• RQ1 AI 对齐如何在交互式 AI 的三步交互循环内有效框定？
• RQ2 在交互式 AI 系统中，哪些机制支持规范对齐、过程对齐和评估支持？
• RQ3 代理过程和 Process Gulf 是什么，它们如何帮助用户控制和理解 AI 过程？
• RQ4 如何利用现有的 HCI 和 AI 对齐准则来设计更好的交互式对齐机制？
• RQ5 图像生成和代码合成系统在交互对齐设计方面提供了哪些经验？

主要发现

• 一个将规范、过程和评估对齐映射到交互式 AI 的结构化框架，提升用户指定目标、控制 AI 过程和验证输出的能力。
• 代理过程通过提供一个可替代、易理解的表示来实现对 AI 内部方法的友好控制，即使直接访问内部方法可能困难，且最终结果相同。
• Process Gulf 强调了 AI 与人类产出过程分歧时用户所面临的困难，强调需要明确的桥接机制。
• 对真实交互式 AI 系统的分析表明，具备对齐机制的界面产生定性上不同且更优的用户体验。
• 该工作将 AI 对齐与 HCI 理论及现有准则联系起来，提出未来交互式对齐研究的具体领域。

Figure 2. Surrogate processes . A surrogate process is an alternative way of producing the same result as the AI. To create a surrogate process, the AI produces output as normal ( A ). The original input and the AI’s output is then sent to a system to reverse-engineer a process for producing the sam