[논문 리뷰] Interactive AI Alignment: Specification, Process, and Evaluation Alignment

Michael Terry, Chinmay Kulkarni외 3명|arXiv (Cornell University)|2023. 10. 23.

Ethics and Social Impacts of AI인용 수 16

한 줄 요약

이 논문은 AI 정렬을 세 단계의 상호작용 주기로 매핑하고, 인터랙티브 AI를 위한 명세(specification), 프로세스(process), 평가 정렬을 정의하며, 대리 프로세스(surrogate processes)와 Process Gulf를 도입하여 사용자의 제어와 이해를 높인다.

ABSTRACT

Modern AI enables a high-level, declarative form of interaction: Users describe the intended outcome they wish an AI to produce, but do not actually create the outcome themselves. In contrast, in traditional user interfaces, users invoke specific operations to create the desired outcome. This paper revisits the basic input-output interaction cycle in light of this declarative style of interaction, and connects concepts in AI alignment to define three objectives for interactive alignment of AI: specification alignment (aligning on what to do), process alignment (aligning on how to do it), and evaluation alignment (assisting users in verifying and understanding what was produced). Using existing systems as examples, we show how these user-centered views of AI alignment can be used descriptively, prescriptively, and as an evaluative aid.

연구 동기 및 목표

• AI 정렬 개념을 기본적인 사용자-시스템 상호작용 주기(입력, 처리, 출력)에 매핑한다.
• 명세 정렬, 프로세스 정렬, 그리고 평가 지원의 세 가지 인터랙티브 정렬 목표를 정의한다.
• 출력 생성 과정에서 인간과 AI 간 차이를 설명하고 다리를 놓기 위해 대리 프로세스와 Process Gulf를 도입한다.
• 이미지 생성 및 코드 합성 시스템의 분석으로 프레임워크를 설명한다.
• AI 정렬과 HCI의 교차점에서 향후 연구 방향을 식별한다.

제안 방법

• 정렬의 기초로 세 단계 상호작용 모델(사용자 입력, 시스템 처리, 사용자 평가)을 제안한다.
• 명세 정렬, 프로세스 정렬, 및 평가 지원을 하위 범주(outcome specification, specification constraints, means alignment, control alignment, surrogate process, verification support, comprehension support)와 함께 정의하고 자세히 설명한다.
• 대리 프로세스를 AI의 실제 프로세스를 단순화하고 제어 가능하게 표현하여 제어와 이해를 돕는 것으로 도입한다.
• Process Gulf를 정의하여 인간과 AI 프로세스 간의 질적 차이와 이것이 제어에 가져오는 도전 과제를 설명한다.
• Horvitz의 혼합 주도 원칙과 Amershi 등의 지침을 검토하고 이를 기존 HCI 및 AI 정렬 문헌에 기반으로 프레임워크와 연결한다.
• 이미지 생성과 코드 합성의 실제 시스템에 프레임워크를 적용하여 기술적 설명적 가치와 규범적 가치를 입증한다.

Figure 1. Basic models of interaction. A: In interacting with a traditional non-AI system, the user chooses an operation to perform and provides input to the system to perform that operation (1). The system performs the operation (2), then provides the output to the user, which they assess (3) with

실험 결과

연구 질문

• RQ1 대화형 AI의 세 단계 상호작용 주기 내에서 AI 정렬을 어떻게 효과적으로 구성할 수 있는가?
• RQ2 상호작용 AI 시스템에서 명세 정렬, 프로세스 정렬, 그리고 평가 지원을 뒷받침하는 메커니즘은 무엇인가?
• RQ3 대리 프로세스와 Process Gulf란 무엇이며, 이것이 AI 프로세스에 대한 사용자의 제어와 이해를 어떻게 돕는가?
• RQ4 기존 HCI 및 AI 정렬 지침을 어떻게 활용하여 더 나은 인터랙티브 정렬 메커니즘을 설계할 수 있는가?
• RQ5 이미지 생성 및 코드 합성 시스템이 인터랙티브 정렬 설계에 어떤 교훈을 제공하는가?

주요 결과

• 명세 정렬, 프로세스 정렬, 및 평가 정렬을 상호작용 AI에 매핑하는 구조화된 프레임워크는 사용자가 목표를 명시하고 AI 프로세스를 제어하며 출력을 검증하는 능력을 향상시킨다.
• 대리 프로세스는 AI 내부 방법에 접근하기 어려울 때도 동일한 최종 결과를 산출하는 대안적이고 이해 가능한 표현을 제공함으로써 사용하기 쉬운 제어를 가능하게 한다.
• Process Gulf는 AI와 인간의 생산 과정이 다를 때 사용자가 겪는 어려움을 강조하고, 명시적 다리 메커니즘의 필요성을 부각한다.
• 실제 인터랙티브 AI 시스템의 분석은 정렬 메커니즘이 포함된 인터페이스가 질적으로 다르고 향상된 사용자 경험을 만들어낸다는 것을 보여준다.
• 본 연구는 AI 정렬을 HCI 이론 및 기존 지침과 연결하여 향후 인터랙티브 정렬 연구를 위한 구체적 영역을 제시한다.

Figure 2. Surrogate processes . A surrogate process is an alternative way of producing the same result as the AI. To create a surrogate process, the AI produces output as normal ( A ). The original input and the AI’s output is then sent to a system to reverse-engineer a process for producing the sam