[논문 리뷰] When ChatGPT is gone: Creativity reverts and homogeneity persists

QingHan Liu, Yiyong Zhou외 2명|arXiv (Cornell University)|2024. 01. 11.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 연구는 ChatGPT가 단기 창의성을 높이지만 창의성은 기준선으로 돌아가고 ChatGPT가 없을 때 콘텐츠가 더 동형화되며 이 효과는 제거 후에도 지속됨을 보여준다.

ABSTRACT

ChatGPT has been evidenced to enhance human performance in creative tasks. Yet, it is still unclear if this boosting effect sustains with and without ChatGPT. In a pre-registered seven-day lab experiment and a follow-up survey after 30 days of experiment completion, we examined the impacts of ChatGPT presence and absence on sustained creativity using a text dataset of 3302 creative ideas and 427 creative solutions from 61 college students. Participants in the treatment group used ChatGPT in creative tasks, while those in the control group completed the tasks by themselves. The findings show that although the boosting effect of ChatGPT was consistently observed over a five-day creative journey, human creative performance reverted to baseline when ChatGPT was down on the 7th and the 30th day. More critically, the use of ChatGPT in creative tasks resulted in increasingly homogenized contents, and this homogenization effect persisted even when ChatGPT was absence. These findings pose a challenge to the prevailing argument that ChatGPT can enhance human creativity. In fact, generative AI like ChatGPT lends to human with a temporary rise in creative performance but boxes human creative capability in the long run, highlighting the imperative for cautious generative AI integration in creative endeavors.

연구 동기 및 목표

• ChatGPT의 존재가 짧은 창의적 여정 동안 인간의 창의성을 지속시키거나 향상시키는지 평가한다.
• ChatGPT가 제거된 후 창의성 증가분이 지속되는지 여부를 조사한다.
• ChatGPT 유무에 따른 콘텐츠 다양성 및 동질화의 변화를 조사한다.
• 61명의 대학생으로부터 얻은 3,302개의 창의적 아이디어와 427개의 창의적 해결책 데이터세트를 사용해 영향을 측정한다.

제안 방법

• ChatGPT가 존재하는 집단과 ChatGPT가 없는 대조 집단을 비교하는 사전 등록된 7일간의 실험실 실험을 실행한다.
• 효과의 지속성을 평가하기 위해 30일 후 추적 설문조사를 수집한다.
• 창의성과 콘텐츠 동질화를 위해 3,302개의 아이디어와 427개의 해결책의 텍스트 데이터 세트를 분석한다.
• 날별 및 ChatGPT 부재 중의 성과 궤적을 비교한다.
• 표준 창의성 지표를 사용해 향상과 회귀를 정량화한다.
• 창의적 작업에서 생성형 AI를 통합하는 장기적 함의에 대해 결론을 도출한다.

실험 결과

연구 질문

• RQ1 다일 간의 과제 궤적에서 ChatGPT의 존재가 인간의 창의성을 일관되게 높이는가?
• RQ2 ChatGPT가 제거된 후 창의성 향상이 지속되나요, 그렇다면 얼마나 오랫동안 지속되나요?
• RQ3 ChatGPT 의존이 더 동질화된 출력으로 이어지나요, 그리고 이 동질화가 ChatGPT가 없을 때도 지속되나요?
• RQ4 생성형 AI를 창의적 작업에 사용했을 때 장기적 창의력에 대한 함의는 무엇인가?

주요 결과

• ChatGPT는 다섯일 간의 창의적 여정에 걸쳐 창의성을 높이는 효과를 제공합니다.
• 7일 차에 ChatGPT가 작동하지 않으면 창의성이 기준선으로 돌아가고 30일 추적에서도 다시 그렇다.
• ChatGPT의 사용은 점점 더 동질화된 콘텐츠로 이어지며, 이 효과는 ChatGPT가 부재해도 지속된다.
• 발견은 ChatGPT가 장기적으로 창의성을 균일하게 향상시킨다는 견해에 도전한다.
• 생성형 AI는 일시적인 성과 향상을 제공할 수 있지만 장기적 창의적 잠재력을 제약한다.