[논문 리뷰] Beyond Prompts: Exploring the Design Space of Mixed-Initiative Co-Creativity Systems

Zhiyu Lin, Upol Ehsan외 4명|arXiv (Cornell University)|2023. 05. 03.

Creativity in Education and Neuroscience인용 수 11

한 줄 요약

논문은 MI-CC 시스템의 설계 공간을 정의하고, 그 공간을 커버하기 위해 7개의 시스템 변형을 구현하며, 더 넓은 설계 공간 커버리지가 인지된 창의성 지원과 달성에 대한 향상을 보이고, 사용자 선호도는 전문성에 따라 다름.

ABSTRACT

Generative Artificial Intelligence systems have been developed for image, code, story, and game generation with the goal of facilitating human creativity. Recent work on neural generative systems has emphasized one particular means of interacting with AI systems: the user provides a specification, usually in the form of prompts, and the AI system generates the content. However, there are other configurations of human and AI coordination, such as co-creativity (CC) in which both human and AI systems can contribute to content creation, and mixed-initiative (MI) in which both human and AI systems can initiate content changes. In this paper, we define a hypothetical human-AI configuration design space consisting of different means for humans and AI systems to communicate creative intent to each other. We conduct a human participant study with 185 participants to understand how users want to interact with differently configured MI-CC systems. We find out that MI-CC systems with more extensive coverage of the design space are rated higher or on par on a variety of creative and goal-completion metrics, demonstrating that wider coverage of the design space can improve user experience and achievement when using the system; Preference varies greatly between expertise groups, suggesting the development of adaptive, personalized MI-CC systems; Participants identified new design space dimensions including scrutability -- the ability to poke and prod at models -- and explainability.

연구 동기 및 목표

• MI-CC 시스템용 설계 공간 프레임워크를 제안하고 운영화하기 (세 축: 개시자, 구체화/반성, 전역/지역).
• 스토리 생성에서 서로 다른 커뮤니케이션 구성의 차이가 사용자 인지 창의성 지원과 목표 달성에 미치는 영향 조사.
• 더 넓은 설계 공간 커버리지가 다양한 사용자 전문성 수준에서 사용자 경험을 향상시키는지 평가.
• 사용자가 보고한 새로운 설계 공간 차원(예: 설명 가능성/검증 가능성) 및 그들이 협업에 미치는 영향 식별

제안 방법

• 세 축(Human vs. Agent-initiated, Elaboration vs. Reflection, Global vs. Local)을 가지는 가상 MI-CC 설계 공간 구성.
• 탐색 연구를 위한 설계 공간의 부분집합을 대표하는 7개의 MI-CC 스토리텔링 시스템 변형 확립.
• 실험을 위한 Creative Wand 프레임워크의 네 가지 구성요소(Creative Context, Experience Manager, Communications, Frontend) 활용.
• 의사소통 모듈 구현을 위해 두 개의 AI 스토리텔링 시스템(Topic 제어 및 GPT-J의 Plug and Blend, 평가용 CARP)을 사용.
• Creative Support Index와 제한된 10라인 이야기에서의 작업 성과로 결과 측정.
• Prolific를 통해 모집된 185명의 참가자를 대상으로 시스템 조건 무작위 배정 및 제시 순서의 대립 배치를 통한 between-subject 연구 수행

실험 결과

연구 질문

• RQ1 MI-CC 설계 공간의 더 넓은 커버리지가 창의적 지원 및 목표 달성에 대해 더 좋은 인지 결과를 낳는가?
• RQ2 에이전트 시작, 사람 시작, 구체화, 반영, 전역, 지역 등 다양한 커뮤니케이션 유형이 전문성 수준에 따라 사용자 경험에 어떤 영향을 미치는가?
• RQ3 MI-CC 시스템에서 사용자 연구를 통해 드러나는 새로운 차원(예: 검증성, 설명가능성)이 무엇이며 그것이 협업에 미치는 영향은 무엇인가?

주요 결과

전체	에이전트 시작만	사람 시작만	구체화만	반영만	전역만	지역만
Q1: Expressiveness	62.2%*	74.2%*	46.9%	56.7%	78.1%*	63.0%	54.5%
Q2: Enjoyment	60.5%*	74.2%*	43.8%	50.0%	81.2%*	59.3%	54.5%
Q3: Exploration	62.7%*	71.0%*	46.9%	56.7%	71.9%*	70.4%*	60.6%
Q4: Immersion	62.2%*	71.0%*	50.0%	60.0%	75.0%*	59.3%	57.6%
Q5: Collaboration	59.5%*	71.0%*	40.6%	56.7%	81.2%*	59.3%	48.5%
Q6: Result worth effort	60.5%*	64.5%+	53.1%	60.0%	71.9%*	66.7%+	48.5%
Q7: Better responses	61.6%*	67.7%*	56.2%	63.3%	78.1%*	59.3%	45.5%

• 더 넓은 설계 공간 커버리지는 여러 지표에서 창의적 지원 및 달성에 대한 인식이 동등하거나 더 나은 평가를 이끈다.
• 에이전트 시작 또는 구체화 커뮤니케이션과 같은 차원을 제거하면 표현성, 즐거움, 탐색, 몰입, 협업, 결과 품질의 지표 전반에서 창의적 경험이 저하된다.
• 전역 전용 커뮤니케이션은 탐색 및 결과에 대한 노력의 가치 인식을 감소시켜 창의성 탐색에서 로컬 변화의 중요성을 부각한다.
• 참가자 선호도는 전문성과 AI에 대한 친숙도에 따라 달라지며, 적응적이고 개인화된 MI-CC 구성이 필요함을 시사한다.
• 사용자들은 제어 가능성 및 검증 가능성을 중시하며, AI 행동에 대한 신뢰 형성과 정신 모델 개선을 위한 설명 가능성에 대한 욕구를 표현한다.