[論文レビュー] Artificial muses: Generative Artificial Intelligence Chatbots Have Risen to Human-Level Creativity

Jennifer Haase, Paul H. P. Hanel|arXiv (Cornell University)|Mar 21, 2023

Creativity in Education and Neuroscience参考文献 43被引用数 42

ひとこと要約

本研究では、生成的AIチャットボット（GAI）が代替用途テスト（AUT）を用いて人間並みの創造性を発揮するかどうかを評価し、100名の humans と6種類のGAIモデル（GPT-4を含む）を比較して、アイデアの豊富さと独自性を検証した。結果として、上位クラスのGAIと人間との間には創造性において顕著な質的差がなく、GPT-4の独自性を上回った人間は9.4％にとどまり、真の意図性に欠ける制限があるものの、GAIは強力な創造的アシスタントであることが示唆された。

ABSTRACT

A widespread view is that Artificial Intelligence cannot be creative. We tested this assumption by comparing human-generated ideas with those generated by six Generative Artificial Intelligence (GAI) chatbots: $alpa.\!ai$, $Copy.\!ai$, ChatGPT (versions 3 and 4), $Studio.\!ai$, and YouChat. Humans and a specifically trained AI independently assessed the quality and quantity of ideas. We found no qualitative difference between AI and human-generated creativity, although there are differences in how ideas are generated. Interestingly, 9.4 percent of humans were more creative than the most creative GAI, GPT-4. Our findings suggest that GAIs are valuable assistants in the creative process. Continued research and development of GAI in creative tasks is crucial to fully understand this technology's potential benefits and drawbacks in shaping the future of creativity. Finally, we discuss the question of whether GAIs are capable of being truly creative.

研究の動機と目的

• AIが創造的であるとは考えられないという広く共有された信念を検証するため、GAIが生成したアイデアと人間が生成したアイデアを比較すること。
• 生成的AIチャットボットが日常的な創造的タスクにおいて、人間と同等の質と独自性を持つアイデアを生成できるかどうかを評価すること。
• GAIが創造的プロセス、特にアイデア生成において効果的なアシスタントとして機能できるかどうかを調査すること。
• GAIの出力が社会的文脈において新規性と有用性の基準を満たす程度を検討すること。

提案手法

• 100名の被験者に、タイヤや歯ブラシなどの一般的な5つの物に対して複数の代替的用途を考案するよう、代替用途テスト（AUT）を実施した。
• alpa.ai、Copy.ai、ChatGPT-3、ChatGPT-4、Studio.ai、YouChatの6つのGAIモデルから応答を収集した。
• 人間の評価者と別途訓練されたAIモデルを用いて、すべての応答の独自性と豊富さを評価した。
• 発散的思考のスコアリング基準を標準化し、アイデアの豊富さ（アイデア数）と独自性（基準サンプルに対するユニークさ）に注目した。
• 評価者間信頼性を確認するため、クラス内相関係数（ICC）を用いた評価者間一貫性の検証を実施した。
• 混合効果モデルを用いて、物体や評価者によるばらつきを考慮した解析を実施し、有意性はp < 0.05で評価した。

実験結果

リサーチクエスチョン

• RQ1 生成的AIチャットボットが人間が生成するものと同等に質的に創造的なアイデアを生成するのか？
• RQ2 最も先進的なGAI（GPT-4）と人間被験者との間で、独自性と豊富さに測定可能な差があるのか？
• RQ3 GAIは創造的プロセス、特にアイデア生成において信頼できるアシスタントと見なせるのか？
• RQ4 人間被験者が、最も創造的なGAI出力の独自性をどの程度上回っているのか？

主な発見

• 最も先進的なGAI（GPT-4）と人間被験者との間で、アイデアの独自性や豊富さに顕著な質的差は認められなかった。
• GPT-4が生成したアイデアは、独自性と数の両面で人間が生成したアイデアと統計的に区別がつかなかった。
• GPT-4の最も創造的な出力よりも独自性が高いアイデアを生成した人間被験者は9.4％にとどまり、人間の創造性がGAIを上回る少数の事例が存在することが示された。
• 本研究では、GAIの出力が人間評価者とAI評価者の両方から新規性と有用性があると一貫して評価された。これは、『創造的』な出力としての認識を裏付けるものであった。
• 結果として、GAI、特にGPT-4は、特に迅速なアイデア生成を要するタスクにおいて、効果的なアシスタントとして機能できることが示唆された。
• 高いパフォーマンスを示したものの、GAIの出力はプロンプトの質に依存しており、人間の創造性が持つ完全な認知的・感情的文脈には欠けている。