[論文レビュー] When ChatGPT is gone: Creativity reverts and homogeneity persists

QingHan Liu, Yiyong Zhou+2 more|arXiv (Cornell University)|Jan 11, 2024

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本研究は、ChatGPTが短期的な創造性を高める一方、ChatGPTが不在になると創造性がベースラインに戻り、内容がより均質化することを示しており、撤回後も効果が持続する。

ABSTRACT

ChatGPT has been evidenced to enhance human performance in creative tasks. Yet, it is still unclear if this boosting effect sustains with and without ChatGPT. In a pre-registered seven-day lab experiment and a follow-up survey after 30 days of experiment completion, we examined the impacts of ChatGPT presence and absence on sustained creativity using a text dataset of 3302 creative ideas and 427 creative solutions from 61 college students. Participants in the treatment group used ChatGPT in creative tasks, while those in the control group completed the tasks by themselves. The findings show that although the boosting effect of ChatGPT was consistently observed over a five-day creative journey, human creative performance reverted to baseline when ChatGPT was down on the 7th and the 30th day. More critically, the use of ChatGPT in creative tasks resulted in increasingly homogenized contents, and this homogenization effect persisted even when ChatGPT was absence. These findings pose a challenge to the prevailing argument that ChatGPT can enhance human creativity. In fact, generative AI like ChatGPT lends to human with a temporary rise in creative performance but boxes human creative capability in the long run, highlighting the imperative for cautious generative AI integration in creative endeavors.

研究の動機と目的

• ChatGPTの存在が、短い創造的な旅の間に人間の創造性を維持または向上させるかを評価する。
• ChatGPTが撤去された後、創造性の向上が持続するかを検討する。
• ChatGPTの有無による内容の多様性と均質化の変化を調査する。
• 61人の大学生からなる3,302の創造的アイデアと427の創造的解決策のデータセットを用いて効果を測定する。

提案手法

• ChatGPTが存在する群をChatGPTが存在しない対照群と比較する事前登録済みの7日間のラボ実験を実施する。
• 効果の持続性を評価するため、30日後にフォローアップ調査を実施する。
• 創造性と内容の均質化を評価するため、3,302のアイデアと427の解決策のテキストデータセットを分析する。
• 日ごとのパフォーマンス推移とChatGPT不在時を比較する。
• 標準的な創造性指標を用いてブーストと再逆転を定量化する。
• 創造的タスクにおける生成AIの統合の長期的影響について結論を導く。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの存在は、複数日にわたるタスクの推移において一貫して人間の創造性を高めるか。
• RQ2 ChatGPTが撤去された後、創造性の向上は持続するか、もしそうならどれくらいの期間か。
• RQ3 ChatGPTへの依存はより均質な出力を生み出すか、そしてこの均質化はChatGPTがなくても持続するか。
• RQ4 創造的タスクで生成AIを使用する際の長期的な創造力の影響は何か。

主な発見

• ChatGPTは5日間の創造的な旅を通じて創造性を高める効果を提供する。
• 創造性は7日目にChatGPTが停止したときベースラインに戻り、30日後のフォローアップでも再び戻る。
• ChatGPTの使用は内容をますます均質化させ、この効果はChatGPTが不在でも持続する。
• 本研究の結果は、ChatGPTが長期的な創造性を均一に高めるという見解に挑戦する。
• 生成AIは一時的なパフォーマンス向上を提供する可能性があるが、長期的な創造的潜在力を制約する。