[論文レビュー] Pinning "Reflection" on the Agenda: Investigating Reflection in Human-LLM Co-Creation for Creative Coding

Anqi Wang, Zhizhuo Yin+6 more|arXiv (Cornell University)|Feb 15, 2024

Creativity in Education and Neuroscience被引用数 4

ひとこと要約

本研究は、大規模言語モデル（LLM）を介した人間とAIの協働が、クリエイティブコーディングにおけるアーティストの自己内省にどのように影響するかを調査し、全プログラム入力と部分タスクベースのプロンプト入力の両方を比較する。研究では、内省のタイプがパフォーマンス、満足度、主観的体験と相関していることが判明し、内省を意図的に支援することでLLM支援の協働が創造性を高めることを示し、今後のAI・人間協働クリエイティブツールの設計に向けた示唆を提供する。

ABSTRACT

Large language models (LLMs) are increasingly integrated into creative coding, yet how users reflect, and how different co-creation conditions influence reflective behavior, remains underexplored. This study investigates situated, moment-to-moment reflection in creative coding under two prompting strategies: the entire task invocation (T1) and decomposed subtask invocation (T2), to examine their effects on reflective behavior. Our mixed-method results reveal three distinct reflection types and show that T2 encourages more frequent, strategic, and generative reflection, fostering diagnostic reasoning and goal redefinition. These findings offer insights into how LLM-based tools foster deeper creative engagement through structured, behaviorally grounded reflection support.

研究の動機と目的

• LLM協働の異なる方法がクリエイティブコーディング中のアーティストの内省に与える影響を調査すること。
• 内省のタイプとユーザーのパフォーマンス、満足度、主観的体験との相関関係を検討すること。
• アーティストの視点から、AI支援クリエイティブプログラミングツールの設計インサイトを特定すること。
• 人間-LLM協働における内省をコアな創造的メカニズムとして理解する空白を埋めること。

提案手法

• プログラミング経験の異なる22名のアーティストを対象に、混合研究法による実験を実施した。
• 2つの協働条件を実装した：全プログラムプロンプト（T1）と部分タスクベースプロンプト（T2）で、独自に構築したLLM（Llama）を用いた。
• 両条件において、タスクパフォーマンスとユーザー満足度の定量的データを収集した。
• 半構造化インタビューを実施し、内省の質的側面、ユーザー体験、クリエイティブプロセスを分析した。
• 観察されたユーザー行動と対話内の言語的パターンに基づき、内省タイプを分類した。
• テーマ的分析を用いて、内省、デザインプロセス、マルチモーダル統合のニーズに関するパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLM支援プログラミングにおける異なる協働方法において、アーティストの内省タイプとそのパターンは何か？
• RQ2 RQ2: どのような協働形態と内省が、より高いタスクパフォーマンスとより高いユーザー満足度を実現するか？
• RQ3 RQ3: 異なる協働アプローチにおいて、アーティストはLLM支援プログラミングに対してどのような主観的体験を持つのか？

主な発見

• 全プログラム協働と部分タスクベース協働では内省タイプに顕著な差が見られ、部分タスクプロンプトの方がより意図的かつ反復的な内省が促された。
• アーティストは部分タスクベース協働でより高い満足度と優れたタスクパフォーマンスを報告したが、内省がパフォーマンス効率を低下させる場合もあった。
• 内省行動とユーザー満足度の間に強い相関が確認され、内省が協働の質の認識を高めることを示している。
• 参加者からは、LLMが創造的意図をより正確に理解できるよう、特に視覚的キューと意味的文脈のマルチモーダル統合が求められていると述べられた。
• 本研究では、パフォーマンス効率とユーザー体験の間に不一致が生じていることが明らかになった。内省的関与は進行が遅くても満足度を高めた。
• 設計インサイトとして、LLMがスコープ、スケール、アクセスの柔軟性をサポートし、視覚的および意味的情報を統合して創造的整合性を高める必要があることが導かれた。