[論文レビュー] Interactive AI Alignment: Specification, Process, and Evaluation Alignment

Michael Terry, Chinmay Kulkarni+3 more|arXiv (Cornell University)|Oct 23, 2023

Ethics and Social Impacts of AI被引用数 16

ひとこと要約

本論文はAIアライメントを三段階の相互作用サイクルに対応づけ、対話型AIの仕様適合、プロセス適合、評価適合を定義し、 surrogate processes と Process Gulf を導入してユーザーの制御と理解を向上させる。

ABSTRACT

Modern AI enables a high-level, declarative form of interaction: Users describe the intended outcome they wish an AI to produce, but do not actually create the outcome themselves. In contrast, in traditional user interfaces, users invoke specific operations to create the desired outcome. This paper revisits the basic input-output interaction cycle in light of this declarative style of interaction, and connects concepts in AI alignment to define three objectives for interactive alignment of AI: specification alignment (aligning on what to do), process alignment (aligning on how to do it), and evaluation alignment (assisting users in verifying and understanding what was produced). Using existing systems as examples, we show how these user-centered views of AI alignment can be used descriptively, prescriptively, and as an evaluative aid.

研究の動機と目的

• AIアライメントの概念を基本的なユーザー-システムの相互作用サイクル（入力、処理、出力）に対応づける。
• 三つの対話型アライメント目的を定義する：仕様適合、プロセス適合、評価支援。
• surrogate processes と Process Gulf を導入して、人間とAIの出力生成の差を説明・橋渡しする。
• 画像生成およびコード合成システムの分析を通じてフレームワークを示す。
• AIアライメントとHCIの交差領域における今後の研究方向を特定する。

提案手法

• アライメントの基礎として、三段階の相互作用モデル（ユーザー入力、システム処理、ユーザー評価）を提案する。
• 仕様適合、プロセス適合、評価支援を、結果仕様、仕様制約、手段適合、制御適合、surrogate process、検証支援、理解支援といったサブカテゴリを用いて定義・詳述する。
• AIの実際のプロセスを単純化・制御可能な表現として表現する surrogate processes を導入し、制御と理解を補助する。
• Process Gulf を定義し、人間とAIのプロセス間の質的な差異と、それが制御にもたらす課題を説明する。
• Horvitz’s mixed-initiative principles および Amershi et al.’s guidelines をレビューし、既存のHCIおよびAI-alignment文献にフレームワークを位置づける。
• 画像生成とコード合成の実システムを分析して、記述的価値と規範的価値を示すためにフレームワークを適用する。

Figure 1. Basic models of interaction. A: In interacting with a traditional non-AI system, the user chooses an operation to perform and provides input to the system to perform that operation (1). The system performs the operation (2), then provides the output to the user, which they assess (3) with

実験結果

リサーチクエスチョン

• RQ1 対話型AIの三段階の相互作用サイクルの中で、AIアライメントをいかに効果的に位置づけることができるか。
• RQ2 対話型AIシステムにおいて、仕様適合、プロセス適合、評価支援を支える仕組みは何か。
• RQ3 surrogate processes と Process Gulf とは何か、そしてそれらがAIプロセスのユーザー制御と理解をいかに支援するか。
• RQ4 既存のHCIおよびAI-アライメントのガイドラインをどう活用して、より良い対話型アライメント機構を設計できるか。
• RQ5 画像生成とコード合成システムが対話型アライメント設計に提供する教訓は何か。

主な発見

• 仕様適合、プロセス適合、評価適合を対話型AIへマッピングする構造化フレームワークは、ユーザーが目標を指定し、AIプロセスを制御し、出力を検証する能力を向上させる。
• surrogate processes は、AIの内部手法へのアクセスが難しい場合でも、同じ最終結果を生み出す代替的で理解可能な表現を提供して、ユーザーに優しい制御を可能にする。
• Process Gulf は、AIと人間の生産プロセスが乖離する際に生じるユーザーの困難を浮き彫りにし、明示的な橋渡し機構の必要性を強調する。
• 実在の対話型AIシステムの分析は、アライメント機構を持つインタフェースが、質的に異なる、より優れたユーザー体験を生み出すことを示している。
• 本研究はAIアライメントとHCI理論、および既存のガイドラインを結びつけ、今後の対話型アライメント研究の具体的領域を提案する。

Figure 2. Surrogate processes . A surrogate process is an alternative way of producing the same result as the AI. To create a surrogate process, the AI produces output as normal ( A ). The original input and the AI’s output is then sent to a system to reverse-engineer a process for producing the sam