[논문 리뷰] Evaluating Creativity in Computational Co-Creative Systems

Pegah Karimi, Kazjon Grace외 2명|arXiv (Cornell University)|2018. 07. 25.

Artificial Intelligence in Games인용 수 14

한 줄 요약

이 논문은 인간과 AI가 실시간으로 공동 창작하는 공동 창의적 시스템에서 창의성을 평가하기 위한 네 가지 질문 프레임워크—평가자, 평가 대상, 시기, 방법—을 제안한다. 주요 기여는 현재 시스템에서 가장 중요한 격차를 규명한 데에 있다: 대부분의 시스템은 사용자 경험만 평가할 뿐, AI의 창의적 기여 자체는 평가하지 않으며, 진정으로 공동 창의적이고 자기 인식이 가능한 AI 에이전트로 나아가기 위해 자가 평가와 의도성 통합이 필요하다고 주장한다.

ABSTRACT

This paper provides a framework for evaluating creativity in co-creative systems: those that involve computer programs collaborating with human users on creative tasks. We situate co-creative systems within a broader context of computational creativity and explain the unique qualities of these systems. We present four main questions that can guide evaluation in co-creative systems: Who is evaluating the creativity, what is being evaluated, when does evaluation occur and how the evaluation is performed. These questions provide a framework for comparing how existing co-creative systems evaluate creativity, and we apply them to examples of co-creative systems in art, humor, games and robotics. We conclude that existing co-creative systems tend to focus on evaluating the user experience. Adopting evaluation methods from autonomous creative systems may lead to co-creative systems that are self-aware and intentional.

연구 동기 및 목표

• 공학적 창의성 연구 분야에서 공동 창의적 시스템에 대한 체계적인 평가 방법 부족 문제를 해결하기 위해.
• 공동 창의적 시스템, 자율 창의적 시스템, 창의성 지원 도구 간의 차이를 명확히 하기 위해.
• 현재 평가 관행의 한계, 특히 사용자 경험 지표에 대한 과도한 의존을 규명하기 위해.
• 의도적이고 창의적인 협업을 가능하게 하기 위해 AI 에이전트에 자가 평가와 자기 인식을 통합할 것을 주장하기 위해.
• 다양한 분야의 공동 창의적 시스템 간 평가 비교 및 향상을 위한 체계적 프레임워크 제공하기 위해.

제안 방법

• 네 가지 질문 프레임워크 제안: (1) 누가 창의성을 평가하는가? (2) 무엇이 평가되고 있는가? (3) 평가는 언제 발생하는가? (4) 평가는 어떻게 수행되는가?
• 예술, 유머, 게임, 로봇 분야의 실제 공동 창의적 시스템(예: SHIMON 및 텍스트 기반 공동 창작 도구 포함)에 프레임워크를 적용하여 분석한다.
• 평가 유형을 형성적 평가와 종합적 평가로 분류하고, 평가 방법을 관찰, 사용자 연구, 사용성 테스트로 분류한다.
• 자율 창의적 시스템과 창의성 지원 도구와의 비교를 통해 공동 창의적 환경에서 고유한 평가 필요성을 부각시킨다.
• 협업 창의성을 지원하기 위해 설명 가능한 AI, 투명성, 중단 가능성의 필요성을 강조한다.
• 사용자 만족도를 넘어서, AI 기여의 독창성, 일관성, 의도성과 같은 지표를 통합할 것을 권장한다.

실험 결과

연구 질문

• RQ1 인간-AI 공동 창의적 시스템에서 창의성은 다양한 분야에서 어떻게 체계적으로 평가될 수 있는가?
• RQ2 공동 창의적 시스템, 자율 창의적 시스템, 창의성 지원 도구 간 평가 접근 방식의 주요 차이는 무엇인가?
• RQ3 기존 공동 창의적 시스템이 왜 주로 사용자 경험에 집중하고, AI의 창의적 기여 자체는 평가하지 않는가?
• RQ4 공동 창의적 시스템은 어떻게 통합된 평가 메커니즘을 통해 자기 인식과 의도적 행동을 달성할 수 있는가?
• RQ5 최종 산출물뿐만 아니라 창의적 과정에서 AI의 역할을 평가하기 위해 필요한 평가 방법과 지표는 무엇인가?

주요 결과

• 기존 공동 창의적 시스템은 주로 사용자 경험과 제품 만족도를 평가하며, AI의 창의적 기여 자체에 대한 관심은 미미하다.
• SHIMON과 같은 시스템의 평가는 라이브 공연 관찰과 관객 반응에 의존하여 종합적이고 관찰 기반의 접근 방식임을 시사한다.
• SHIMON 로봇의 즉흥적 행동은 영감을 주고 상호작용적인 것으로 인식되었으며, 인간과 AI 간에 번갈아가며 창의적 기여가 이루어졌다.
• 40,000건 이상의 영상 조회 수 등 광범위한 찬사를 얻었음에도 불구하고, 로봇의 창의성이나 독창성에 대한 공식적 지표는 사용자 인식 외에는 없었다.
• 공동 창의적 시스템은 주로 능동적인 AI 행동을 추가함으로써 창의성 지원 도구를 확장하지만, AI의 창의적 의도나 품질을 평가할 수 있는 메커니즘이 부족하다.
• 연구는 향후 공동 창의적 시스템이 자가 평가 방법을 도입하여 자기 인식과 의도적 협업을 달성해야 하며, 수동적 사용자 피드백을 넘어서야 한다고 결론 내린다.