[論文レビュー] Human Creativity in the Age of LLMs: Randomized Experiments on Divergent and Convergent Thinking

Harsh Kumar, Jonathan Vincentius+2 more|arXiv (Cornell University)|Sep 24, 2024

Private Equity and Venture CapitalBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究は、1,100名の参加者を対象に事前登録済みのランダム化比較試験を2件実施し、標準的なLLM支援、コーチ型のLLMガイダンス、および支援なしの3条件を比較することで、大規模言語モデル（LLMs）が人間の創造性に与える影響を調査している。LLMは支援中には創造性を向上させるが、支援なしの状況では独立した創造的パフォーマンスに悪影響を及ぼす可能性があることが判明した。これは、AIツールへの長期的認知的依存性が生じる可能性を示唆している。

ABSTRACT

Large language models are transforming the creative process by offering unprecedented capabilities to algorithmically generate ideas. While these tools can enhance human creativity when people co-create with them, it's unclear how this will impact unassisted human creativity. We conducted two large pre-registered parallel experiments involving 1,100 participants attempting tasks targeting the two core components of creativity, divergent and convergent thinking. We compare the effects of two forms of large language model (LLM) assistance -- a standard LLM providing direct answers and a coach-like LLM offering guidance -- with a control group receiving no AI assistance, and focus particularly on how all groups perform in a final, unassisted stage. Our findings reveal that while LLM assistance can provide short-term boosts in creativity during assisted tasks, it may inadvertently hinder independent creative performance when users work without assistance, raising concerns about the long-term impact on human creativity and cognition.

研究の動機と目的

• 異なる形態のLLM支援が、制御された実験的状況下で人間の創造性に与える影響を調査すること。
• 事前におけるAI支援の暴露後、独立した創造的パフォーマンスが向上するか、悪化するかを評価すること。
• 直接的なLLMの回答とコーチ型ガイダンスの影響を、発散的思考と収束的思考の両面で比較すること。
• AI使用が人間の創造的潜在能力に及ぼす長期的認知的影響を評価すること。
• AI支援が独立した人間の創造的思考を促進するか、それとも損なうかを実証的証拠で示すこと。

提案手法

• 1,100名の参加者を対象に、事前登録済みの並列実験を2件実施し、無作為に3条件（支援なし、標準的LLM支援、コーチ型LLMガイダンス）に割り当てた。
• 発散的思考の測定に「代替用途テスト（AUT）」、収束的思考の測定に「遠隔関連テスト（RAT）」を用いた。
• 参加者は割り当てられたLLM支援を経験するラウンドを複数回経験した後、最終的な支援なしのテストラウンドを実施し、残存する創造的パフォーマンスを評価した。
• 被験者内設計を採用し、露出フェーズとテストフェーズの間に時間的隔たりを設けることで、長期的影響を分離した。
• アイデア数、独自性、解決策の質といった創造性指標を、定量的および定性的な出力を収集・分析した。
• コーチ型LLMのverbosity（冗長性）とガイダンススタイルを制御することで、対話設計の認知的結果への影響を分離した。

Figure 1. Experimental framework for measuring the impact of AI use on Human creativity. Participants engage in a series of Exposure rounds where they are randomized to either receive - (A) No assistance, (B) LLM solution (standard): This could be analogous to using a chat LLM such as ChatGPT for th

実験結果

リサーチクエスチョン

• RQ1 RQ1: 標準的LLM支援およびコーチ型LLMガイダンスは、独立した創造的アイデアの生成において、支援なしの条件と比較して、個人の発散的思考能力にどのように影響するか？
• RQ2 RQ2: 標準的LLM支援およびコーチ型LLMガイダンスは、独立したアイデアの精錬と選択において、個人の収束的思考スキルにどのように影響するか？
• RQ3 RQ3: 事前のLLM支援の暴露は、その後のタスクにおける支援なしの創造的パフォーマンスにどのように影響するか？
• RQ4 RQ4: LLMとの対話モード（直接的回答 vs. 促進的思考）は、長期的人間の創造的認知に差をもたらすか？

主な発見

• 標準的LLM支援を受けた参加者は、支援中は高いアイデア生成を示したが、コントロール群と比較して最終的な支援なしテストラウンドでは成績が悪かった。
• コーチ型LLMガイダンスは、直接的LLM支援よりも、支援なしテストフェーズでより良いパフォーマンスを示した。これは、反復的思考を促すプロンプトが、独立した創造的思考を維持するのに有効である可能性を示唆している。
• コントロール群は、両方のLLM支援群よりも最終的な支援なしラウンドで優れた成績を示した。これは、AI支援が時間の経過とともに独立した創造的パフォーマンスを損なう可能性があることを示している。
• LLMの暴露後、特に直接的回答モデルを用いた場合、支援なしタスクにおける独自性とアイデア数に顕著な低下が観察された。
• コーチ型LLMを使用した参加者は、テストフェーズでより概念的に異なるアイデアを生成した。これは、プロセス指向の支援が、創造的スキルの認知的保持をより効果的に支援する可能性を示唆している。
• 結果から、直接的回答に過剰に依存することは、短期間の暴露でも、独立した創造的思考の認知的萎縮を引き起こす可能性があると示唆された。

Figure 2. Schematic of design for Experiment 1 on divergent thinking.