[논문 리뷰] An Interaction Framework for Studying Co-Creative AI

Matthew Guzdial, Mark Riedl|arXiv (Cornell University)|2019. 03. 22.

Data Visualization and Analytics참고 문헌 18인용 수 5

한 줄 요약

이 논문은 인간-AI 협업을 여섯 구성요소인 시작, 행동(산출물, 기타, 비턴), AI 알고리즘, 사용자, 턴, 종료로 구조화하는 턴 기반 상호작용 프레임워크를 제안한다. 이 프레임워크는 공동 창작 시스템 간 체계적 비교를 가능하게 하고, 사용자 인지에 영향을 주는 설계 영향을 드러내며, 비턴 학습 및 취소 기능이 사용자 경험을 향상시킨다는 가설을 제시한다. 이는 마르코프 체인, 베이즈 네트워크, LSTMs, 딥 강화학습 에이전트를 활용한 인간 연구를 통해 입증되었다.

ABSTRACT

Machine learning has been applied to a number of creative, design-oriented tasks. However, it remains unclear how to best empower human users with these machine learning approaches, particularly those users without technical expertise. In this paper we propose a general framework for turn-based interaction between human users and AI agents designed to support human creativity, called {co-creative systems}. The framework can be used to better understand the space of possible designs of co-creative systems and reveal future research directions. We demonstrate how to apply this framework in conjunction with a pair of recent human subject studies, comparing between the four human-AI systems employed in these studies and generating hypotheses towards future studies.

연구 동기 및 목표

• 공동 창작 AI 시스템을 분석하고 비교하기 위한 체계적이고 일반화 가능한 프레임워크의 부재를 해결하기 위해.
• 비기술적 사용자가 창작 작업에서 주도적으로 참여할 수 있도록 지원하는 사용자 중심의 공동 창작 시스템 설계를 지원하기 위해.
• 창의성 지원 도구, 자율 시스템, 공동 창작 시스템 등 다양한 AI 상호작용 패러다임 간의 체계적 비교를 가능하게 하기 위해.
• 구성요소 분석을 통한 공동 창작 AI의 설계 선택에 대한 검증 가능한 연구 가설을 생성하기 위해.
• 핵심 상호작용 변수를 식별하여 보다 효과적이고 사용자 반응에 민감한 공동 창작 시스템 개발을 이끄는 데 기여하기 위해.

제안 방법

• 프레임워크는 인간 사용자와 AI 에이전트 간의 턴 기반 상호작용으로서 공동 창작 시스템을 모델링하며, 여섯 가지 핵심 구성요소인 시작, 행동(산출물, 기타, 비턴), AI 알고리즘, 사용자, 턴, 종료를 포함한다.
• 각 구성요소는 설계 반영의 기준이 되며, 다양한 도메인에서 시스템 행동을 정밀하게 기술할 수 있도록 한다.
• 이 프레임워크는 루바르트의 컴퓨터 역할(보모, 친구, 트레이너, 동료) 및 세 가지 상호작용 유형(창의성 지원, 자율적, 공동 창작)과 같은 이전 분류를 표현하는 데 응용된다.
• 마르코프 체인, 베이즈 네트워크, LSTMs, 딥 강화학습 에이전트를 사용한 수준 생성 작업에서의 AI 에이전트를 비교하는 두 번의 인간 대상 연구를 통해 검증된다.
• 비턴 행동인 활동적 학습 및 사용자 행동인 취소 단추와 같은 요소들이 사용자 인지와 시스템 성능에 미치는 영향이 분석된다.
• 이 프레임워크는 턴 빈도, 간섭, 설명 메커니즘, 사용자 탐색 행동과 관련된 새로운 연구 가설을 생성하는 데 사용된다.

실험 결과

연구 질문

• RQ1 마르코프 체인, 베이즈 네트워크, LSTM 등의 다양한 AI 알고리즘이 공동 창작 시스템에서 창의성과 사용성에 대한 사용자 인지에 어떻게 영향을 미치는가?
• RQ2 활성 학습이나 설명과 같은 비턴 행동이 사용자 참여도와 시스템 성능에 어떤 영향을 미치는가?
• RQ3 취소 단추의 포함 여부가 AI가 생성한 콘텐츠에 대한 사용자 만족도와 수용도에 어떤 영향을 미치는가?
• RQ4 일관된 시스템 설계를 하더라도 사용자 인지가 AI 파artner에 대해 친구, 동료, 학생 등으로 어떻게 다를 수 있는가?
• RQ5 턴 구조와 종료 조건를 어떻게 수정하면 공동 창작 경험의 인지된 품질을 향상시킬 수 있는가?

주요 결과

• LSTM은 사용이 더 어려웠음에도 불구하고, 베이즈 네트워크보다 더 창의적으로 인식되었으며, 이는 낮은 변화 빈도와 장식적 행동의 포함이 창의성 인지에 기여했음을 시사한다.
• 마르코프 체인은 국소적이고 다양성이 높은 콘텐츠 생성 방식으로 더 작은 스케일의 특징을 더 흥미롭게 생성하여, 베이즈 네트워크보다 더 창의적으로 평가되었다.
• 취소 단추의 포함은 평균적으로 AI 생성 콘텐츠 수용률을 15% 향상시키고, 자가 보고한 분노 수준을 15% 감소시켰으며, 이는 기대와는 반대로 신뢰 감소를 유도하지 않았다.
• 취소 단추는 딥 강화학습 에이전트의 비턴 학습을 향상시켜 명확한 피드백 신호를 제공했을 것이며, 이는 시뮬레이션 성능 향상과 사용자 보고 모두에 기여했다.
• 동료로 설계되었음에도 불구하고 사용자들은 딥 강화학습 에이전트를 친구, 협업자, 학생, 관리자로 인지했으며, 이는 인지가 매우 맥락적이고 사용자에 따라 달라진다는 것을 시사한다.
• 프레임워크는 AI 에이전트의 관측 범위 차이(예: 마르코프 체인: 작은 창, 베이즈 네트워크: 전체 화면, LSTM: 거의 전체 레벨)가 창의성 인지와 행동에 중대한 영향을 미친다는 점을 성공적으로 드러냈다.