[논문 리뷰] Designing Human and Generative AI Collaboration

Kartik Hosanagar, Daehwan Ahn|arXiv (Cornell University)|2024. 12. 14.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 인간과 생성형 AI 간의 다양한 협업 설계가 창작적 글쓰기 결과에 어떤 영향을 미치는지 조사한다. 통제된 실험을 통해 초기 창작 단계에서 인간의 적극적 참여가 스토리 품질, 흥미 요소, 사용자 만족도를 크게 향상시키며, AI에 대한 과도한 의존도를 줄이고 창작 다양성을 유지하는 데 기여함을 발견했다.

ABSTRACT

We examined the effectiveness of various human-AI collaboration designs on creative work. Through a human subjects experiment set in the context of creative writing, we found that while AI assistance improved productivity across all models, collaboration design significantly influenced output quality, user satisfaction, and content characteristics. Models incorporating human creative input delivered higher content interestingness and overall quality as well as greater task performer satisfaction compared to conditions where humans were limited to confirming AI's output. Increased AI involvement encouraged creators to explore beyond personal experience but also led to lower aggregate diversity in stories and genres among participants. However, this effect was mitigated through human participation in early creative tasks. These findings underscore the importance of preserving the human creative role to ensure quality, satisfaction, and creative diversity in human-AI collaboration.

연구 동기 및 목표

• 창작적 글쓰기 작업에서 인간과 AI의 참여 수준을 다양하게 조절할 경우 그 결과 품질과 사용자 경험에 어떤 영향을 미치는지 조사하기.
• 협업 설계가 생성된 스토리의 장르와 주제 다양성 포함 창작 다양성에 미치는 영향을 검토하기.
• 초기 아이디어 단계에서 인간이 참여할 경우 AI 보조 창작 작업의 최종 품질과 독창성에 어떤 영향을 미치는지 평가하기.
• AI의 생산성 향상 이점을 활용하면서도 인간의 창작적 주도권을 유지할 수 있는 설계 원칙을 도출하기.

제안 방법

• 창작적 글쓰기 맥락에서 통제된 협업 조건을 적용한 인간 대상 실험을 수행함.
• 인간이 초기 아이디어를 생성하는지, 또는 단지 AI가 생성한 내용을 확인하는지에 따라 다른 AI 협업 모델을 비교함.
• 표준화된 지표를 사용하여 스토리 품질, 흥미 요소, 사용자 만족도를 평가함.
• 장르, 주제, 서사 구조의 다양성을 포함한 내역 출력물의 다양성 분석을 수행함.
• 사용자 경험과 인식된 만족도 평가를 위해 질적 피드백과 정량적 평가를 병행함.
• 인간의 입력 시점과 창작 결과 간의 관계를 분석하기 위해 보조 분석을 적용함.

실험 결과

연구 질문

• RQ1 창작 과정에서 인간의 참여 시점과 범위가 AI 보조 스토리의 품질과 흥미 요소에 어떤 영향을 미치는가?
• RQ2 AI 전용 생성 대비 인간-AI 공동 창작이 서사 다양성과 독창성에 어떤 영향을 미치는가?
• RQ3 협업 설계가 AI 보조 창작 작업에서 사용자 만족도와 인식된 주도감에 어떤 영향을 미치는가?
• RQ4 AI 참여도가 증가할수록 사용자가 생성한 스토리의 장르와 주제 다양성이 어느 정도 감소하는가?

주요 결과

• 초기 아이디어 단계에서 인간의 입력이 요구되는 협업 모델이 흥미 요소와 종합적 품질 측면에서 유의미하게 높은 평점을 받은 스토리를 생성함.
• 사용자들은 단지 AI 출력물을 확인하는 것보다 창작적으로 기여했을 때 더 높은 만족도를 보였음.
• 인간의 입력이 제한된 조건에서는 스토리 간 장르와 주제의 통합 다양성이 낮아짐.
• AI 참여도가 높아지면 개인의 경험을 초월한 탐색을 장려하지만, 그 대가로 서사 다양성이 감소함.
• 초기 단계에서 인간의 참여가 고도로 AI에 의존하는 상황에서 흔히 나타나는 창작 다양성 저하를 완화함.
• AI 보조는 모든 모델에서 생산성을 향상시켰지만, 품질과 만족도는 협업 설계에 크게 의존함.