[논문 리뷰] Pinning "Reflection" on the Agenda: Investigating Reflection in Human-LLM Co-Creation for Creative Coding

Anqi Wang, Zhizhuo Yin외 6명|arXiv (Cornell University)|2024. 02. 15.

Creativity in Education and Neuroscience인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)을 통한 인간-AI 협업이 창의적 프로그래밍 과정에서 예술가의 반성에 어떤 영향을 미치는지 조사한다. 전 프로그램 기반 prompting과 하위작업 기반 prompting을 비교함으로써, 반성 유형이 성과, 만족도, 주관적 경험과 관련이 있음을 밝혀내며, 반성 과정을 의도적으로 지원할 경우 LLM을 활용한 협업이 창의성을 향상시킬 수 있음을 시사한다. 이는 향후 인간-AI 창의적 도구 설계에 대한 설계 함의를 제공한다.

ABSTRACT

Large language models (LLMs) are increasingly integrated into creative coding, yet how users reflect, and how different co-creation conditions influence reflective behavior, remains underexplored. This study investigates situated, moment-to-moment reflection in creative coding under two prompting strategies: the entire task invocation (T1) and decomposed subtask invocation (T2), to examine their effects on reflective behavior. Our mixed-method results reveal three distinct reflection types and show that T2 encourages more frequent, strategic, and generative reflection, fostering diagnostic reasoning and goal redefinition. These findings offer insights into how LLM-based tools foster deeper creative engagement through structured, behaviorally grounded reflection support.

연구 동기 및 목표

• LLM 협업 방식의 차이가 예술가의 창의적 프로그래밍 과정에서 반성에 어떤 영향을 미치는지 조사하기.
• 반성 유형과 사용자 성과, 만족도, 주관적 경험 간의 상관관계를 분석하기.
• 예술가의 시각에서 AI 보조 창의적 프로그래밍 도구의 설계 함의를 도출하기.
• 인간-LLM 협업에서 반성이 핵심 창의적 메커니즘으로 작동하는 데 대한 이해 부족을 메우기.

제안 방법

• 다양한 프로그래밍 배경을 가진 22명의 예술가를 대상으로 혼합 방법 연구를 수행함.
• 두 가지 협업 조건을 구현: 전 프로그램 prompting(T1)과 하위작업 기반 prompting(T2), 자체 구축한 LLM(Llama) 사용.
• 두 조건 모두에서 작업 성과 및 사용자 만족도에 대한 정량적 데이터를 수집함.
• 반성, 사용자 경험, 창작 과정의 정성적 측면을 분석하기 위해 반구조화된 인터뷰를 실시함.
• 관찰된 사용자 행동과 대화 내 언어 패턴을 기반으로 반성 유형을 분류함.
• 주제 분석을 통해 반성, 설계 과정, 다중모달 통합 요구사항의 패턴을 식별함.

실험 결과

연구 질문

• RQ1 RQ1: LLM 보조 프로그래밍에서 서로 다른 협업 방식에 따라 예술가들이 보이는 반성 유형과 패턴은 무엇인가?
• RQ2 RQ2: 어떤 협업 방식과 반성 방식이 더 효율적인 작업 성과와 높은 사용자 만족도를 달성하는가?
• RQ3 RQ3: 다양한 협업 접근 방식에서 예술가들은 LLM 보조 프로그래밍에 대해 어떤 주관적 경험을 갖는가?

주요 결과

• 전체 프로그램 prompting과 하위작업 기반 prompting 간 반성 유형에 뚜렷한 차이가 있었으며, 하위작업 prompting이 더 의도적이고 반복적인 반성 유형을 유도함.
• 예술가들은 하위작업 기반 협업에서 더 높은 만족도와 더 나은 작업 성과를 보고했지만, 반성 과정이 때로는 효율성을 저하시키기도 함.
• 반성 행동과 사용자 만족도 사이에 강한 상관관계가 발견되어, 반성이 협업의 질을 인식하는 데 기여함을 시사함.
• 참가자들은 창의적 의도를 더 잘 이해하기 위해 시각적 신호와 의미적 맥락을 포함한 다중모달 통합이 필요함을 표현함.
• 연구는 성과 효율성과 사용자 경험 간의 괴리를 드러내었으며, 반성적 참여가 느린 진행에도 불구하고 만족도를 향상시킴을 확인함.
• 설계 함의로는 LLM이 범위, 스케일, 액세스의 유연성을 지원하고, 시각적 및 의미적 정보를 통합하여 더 나은 창의적 일치를 이룰 수 있도록 해야 한다는 점이 도출됨.