[論文レビュー] "It Felt Like Having a Second Mind": Investigating Human-AI Co-creativity in Prewriting with Large Language Models

Qian Wan, Siying Hu+4 more|arXiv (Cornell University)|Jul 20, 2023

Machine Learning in Materials Science参考文献 69被引用数 5

ひとこと要約

本研究は、大規模言語モデル（LLM）を用いた予備的執筆における人間とAIの共同創造を調査し、人間とAIの間で意思決定の主導権が変動する3段階の反復的プロセス—想起、閃き、実行—を明らかにした。人間が主導的役割を果たす一方で、段階ごとに主導権が人間とAIの間で移り変わる。研究結果は、共同作業のパターン、問題点、およびLLM強化型創造的支援ツールの設計に向けた示唆を示している。

ABSTRACT

Prewriting is the process of discovering and developing ideas before a first draft, which requires divergent thinking and often implies unstructured strategies such as diagramming, outlining, free-writing, etc. Although large language models (LLMs) have been demonstrated to be useful for a variety of tasks including creative writing, little is known about how users would collaborate with LLMs to support prewriting. The preferred collaborative role and initiative of LLMs during such a creativity process is also unclear. To investigate human-LLM collaboration patterns and dynamics during prewriting, we conducted a three-session qualitative study with 15 participants in two creative tasks: story writing and slogan writing. The findings indicated that during collaborative prewriting, there appears to be a three-stage iterative Human-AI Co-creativity process that includes Ideation, Illumination, and Implementation stages. This collaborative process champions the human in a dominant role, in addition to mixed and shifting levels of initiative that exist between humans and LLMs. This research also reports on collaboration breakdowns that occur during this process, user perceptions of using existing LLMs during Human-AI Co-creativity, and discusses design implications to support this co-creativity process.

研究の動機と目的

• 予備的執筆、つまり創造的執筆における発散的思考段階における人間とLLMの共同作業のワークフローとダイナミクスを理解すること。
• 共同創造プロセスの異なる段階において、人間とLLMの果たす役割と意思決定のレベルを特定すること。
• 非構造的で反復的な予備的執筆タスクにおける人間-LLM共同作業における課題と回避策を同定すること。
• ユーザーの認識と観察された共同作業のパターンに基づき、将来のLLMベースの創造的支援ツールの設計に向けた示唆を提供すること。

提案手法

• デザインおよび執筆の背景を持つ15名の参加者を対象に、3回のセッションによる定性的研究を実施した。
• 参加者は、GPT-3をLLMとして用いて、物語執筆およびスローガン作成の2つの創造的タスクを実施した。
• 反復的インタビューとスクリーン録画を用いて、共同作業のワークフローと意思決定の主導権の移行を分析した。
• テーマ的分析を適用し、繰り返し現れる共同作業のパターン、問題点、およびユーザーの認識を同定した。
• 観察されたワークフローに基づき、3段階の「人間-AI共同創造モデル」を構築した：想起、閃き、実行。
• 今後のツール設計を支援するため、説明可能性およびAIドキュメンテーションに関するユーザーの要望を収集・分類した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMを用いた予備的執筆において、ユーザーが採用する共同作業プロセス、ワークフロー、戦略は何か。また、LLMはこのプロセスでどのような役割を果たしているか。
• RQ2 RQ2: 現行のLLMを用いて予備的執筆を支援する際の課題は何か。これらの課題は共同作業にどのように影響するか。
• RQ3 RQ3: ユーザーは予備的執筆段階でLLMの意思決定の主導権と行動をどのように認識しているか。また、効果的な共同創造を支えるための設計要因は何か。

主な発見

• 参加者は、想起（アイデア生成）、閃き（アイデアの洗練と洞察の獲得）、実行（実行可能な出力の作成）の3段階の反復的「人間-AI共同創造プロセス」に従った。
• 人間は常に共同作業において主導的役割を果たしており、特にプロセスの開始と方向性の決定を担っていたが、意思決定の主導権は人間とLLMの間で動的に移行した。
• 一般的な共同作業の問題点として、LLMが文化的に偏ったまたは関連性のない提案を行うこと、および多様なアイデア生成に適したプロンプトをユーザーがうまく作成できないことが挙げられた。
• ユーザーは、LLMの制限を克服するために、プロンプトの言い換え、複数のバリエーションの要求、より構造的な入力フォーマットへの切り替えといった回避策を頻繁に用いた。
• ユーザーは技術的なモデル仕様よりも、プロンプト戦略や入力／出力のガイダンスの透明性を優先しており、創造的ツールにおけるアクセスしやすいAIドキュメンテーションの必要性を示唆している。
• 本研究では、現行のLLMが予備的執筆の初期段階において、独自性や発散的思考を十分に支援していないことが判明した。これは、新規性を重視するのではなく、一貫性と妥当性を優先する傾向に起因する。