[논문 리뷰] Human Creativity in the Age of LLMs: Randomized Experiments on Divergent and Convergent Thinking

Harsh Kumar, Jonathan Vincentius외 2명|arXiv (Cornell University)|2024. 09. 24.

Private Equity and Venture CapitalBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 1,100명의 참가자를 대상으로 사전 등록된 두 개의 무작위 실험을 통해 대규모 언어 모델(Large Language Models, LLMs)이 인간의 창의성에 어떤 영향을 미치는지 조사한다. 표준 LLM 지원, 코aching 스타일의 LLM 가이던스, 그리고 지원 없음의 세 조건을 비교한다. 연구 결과, LLM은 보조 작업 중에는 창의성을 향상시키지만, 독립적인 창의성 수행 능력에는 악영향을 미칠 수 있으며, 장기적으로는 인공지능 도구에 대한 인지적 의존성이 생길 수 있음을 시사한다.

ABSTRACT

Large language models are transforming the creative process by offering unprecedented capabilities to algorithmically generate ideas. While these tools can enhance human creativity when people co-create with them, it's unclear how this will impact unassisted human creativity. We conducted two large pre-registered parallel experiments involving 1,100 participants attempting tasks targeting the two core components of creativity, divergent and convergent thinking. We compare the effects of two forms of large language model (LLM) assistance -- a standard LLM providing direct answers and a coach-like LLM offering guidance -- with a control group receiving no AI assistance, and focus particularly on how all groups perform in a final, unassisted stage. Our findings reveal that while LLM assistance can provide short-term boosts in creativity during assisted tasks, it may inadvertently hinder independent creative performance when users work without assistance, raising concerns about the long-term impact on human creativity and cognition.

연구 동기 및 목표

• 통제된 실험 환경에서 다양한 형태의 LLM 지원이 인간의 창의성에 어떤 영향을 미치는지 조사하기.
• 사전에 AI 지원을 경험한 후에 독립적인 창의성 수행 능력이 향상되거나 저하되는지 평가하기.
• 직접적인 LLM 답변과 코칭 스타일의 가이던스가 이질적 사고와 집중적 사고에 미치는 영향을 비교하기.
• 인간 창의성 잠재력에 대한 AI 사용의 장기적 인지적 영향을 평가하기.
• AI 지원이 독립적인 인간 창의성에 기여하는지 혹은 약화시키는지에 대한 실증적 증거를 제공하기.

제안 방법

• 1,100명의 참가자를 대상으로 사전 등록된 두 개의 평행 실험을 실시하였으며, 무작위로 세 조건(지원 없음, 표준 LLM 지원, 코칭 스타일의 LLM 가이던스)으로 배정하였다.
• 이질적 사고를 측정하기 위해 '다른 용도 테스트(Alternate Uses Test, AUT)'를, 집중적 사고를 측정하기 위해 '원거리 관련성 테스트(Remote Associates Test, RAT)'를 사용하였다.
• 참가자들은 할당된 LLM 지원을 거쳐서 일련의 노출 라운드를 거친 후, 최종적으로는 지원 없이 수행하는 테스트 라운드를 통해 잔여 창의성 수행 능력을 평가하였다.
• 노출 단계와 테스트 단계 사이에 시간 간격을 두어 장기적 영향을 분리하는 내부 설계를 채택하였다.
• 의도 수량, 독창성, 해결책의 질 등의 창의성 지표를 포함해 정량적 및 정성적 출력을 수집하고 분석하였다.
• 코칭 스타일의 LLM에서 어조와 지시 스타일을 통제하여 상호작용 설계가 인지적 결과에 미치는 영향을 고립시키기 위해 노력하였다.

Figure 1. Experimental framework for measuring the impact of AI use on Human creativity. Participants engage in a series of Exposure rounds where they are randomized to either receive - (A) No assistance, (B) LLM solution (standard): This could be analogous to using a chat LLM such as ChatGPT for th

실험 결과

연구 질문

• RQ1 RQ1: 표준 LLM 지원과 코칭 스타일의 LLM 가이던스가 독립적인 창의적 아이디어 생성 능력에 영향을 미치는 방식은 무엇인가? 이는 지원 없음과 비교할 때의 영향을 포함한다.
• RQ2 RQ2: 표준 LLM 지원과 코칭 스타일의 LLM 가이던스가 독립적으로 아이디어를 정리하고 선택하는 데 필요한 집중적 사고 능력에 미치는 영향은 무엇인가? 이는 지원 없음과 비교할 때의 영향을 포함한다.
• RQ3 RQ3: 사전에 LLM 지원을 경험한 후, 이후의 작업에서 독립적인 창의성 수행 능력에 어떤 영향을 미치는가?
• RQ4 RQ4: LLM 상호작용 방식(직접적인 답변 vs. 유도적 사고)이 장기적인 인간 창의적 인지에 다르게 영향을 미치는가?

주요 결과

• 표준 LLM 지원을 받은 참가자들은 보조 작업 중 더 많은 아이디어를 생성했지만, 제어군에 비해 최종적으로는 지원 없이 수행한 테스트 라운드에서 성과가 열 劣했다.
• 코칭 스타일의 LLM 가이던스는 직접적인 LLM 지원보다 독립 테스트 단계에서 더 높은 성과를 보였으며, 이는 반성 유도형 프롬프트가 독립적 창의성을 유지하는 데 도움이 될 수 있음을 시사한다.
• 제어군은 LLM 지원을 받은 두 그룹보다 최종 독립 테스트 라운드에서 더 뛰어난 성과를 보였으며, 이는 AI 지원이 장기적으로 독립적 창의성 수행 능력을 떨어뜨릴 수 있음을 시사한다.
• LLM 노출 이후에 특히 직접 답변 모델을 사용한 경우, 독립 작업에서 독창성과 아이디어 수량이 유의미하게 감소하는 경향을 관찰하였다.
• 코칭 스타일의 LLM을 사용한 참가자들은 테스트 단계에서 더 개념적으로 구분된 아이디어를 더 많이 생성했으며, 이는 과정 중심의 지원이 창의적 기술의 인지적 유지에 더 효과적일 수 있음을 암시한다.
• 결과적으로, 직접적인 답변을 위해 LLM에 과도하게 의존할 경우, 짧은 노출 기간 동안에도 독립적 창의적 사고 능력이 둔화될 수 있음을 시사한다.

Figure 2. Schematic of design for Experiment 1 on divergent thinking.