[論文レビュー] Rapid AIdeation: Generating Ideas With the Self and in Collaboration With Large Language Models

Gionnieve Lim, Simon T. Perrault|arXiv (Cornell University)|Mar 19, 2024

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本研究は、21名の参加者を対象としたワークショップを通じて、大規模言語モデル（LLMs）がデザイン文脈における迅速なアイデーションをどのように向上させるかを調査している。LLMとの協働は、単独でのアイデーションに比べ、より多様で高品質なアイデーションを生み出すことが判明した。ユーザーは、主にコンサルティング的または支援的協働モードを採用したが、まれに反協働的プロンプト（例：脅し）も観察された。

ABSTRACT

Generative artificial intelligence (GenAI) can rapidly produce large and diverse volumes of content. This lends to it a quality of creativity which can be empowering in the early stages of design. In seeking to understand how creative ways to address practical issues can be conceived between humans and GenAI, we conducted a rapid ideation workshop with 21 participants where they used a large language model (LLM) to brainstorm potential solutions and evaluate them. We found that the LLM produced a greater variety of ideas that were of high quality, though not necessarily of higher quality than human-generated ideas. Participants typically prompted in a straightforward manner with concise instructions. We also observed two collaborative dynamics with the LLM fulfilling a consulting role or an assisting role depending on the goals of the users. Notably, we observed an atypical anti-collaboration dynamic where participants used an antagonistic approach to prompt the LLM.

研究の動機と目的

• 大規模言語モデル（LLMs）がデザインプロセスにおける迅速なアイデーションをどのように支援するかを検討すること。
• 創造的ブレインストーミングの過程における人間-LLM協働のダイナミクスを理解すること。
• プロンプト戦略とそれらがアイデーションの質と多様性に与える影響を調査すること。
• 人間-AIアイデーションにおいて、反慣習的な相互作用パターン（例：反協働的プロンプト）を特定すること。
• 自らアイデーションを生成するのとLLMと共同でアイデーションを行うのとを比較し、その有効性を評価すること。

提案手法

• 21名の参加者を対象に、2段階のデザインを採用した迅速なアイデーションワークショップを実施：まず単独でのアイデーション、次にChatGPT（GPT-3.5）を活用したアイデーション。
• プロンプト、生成されたアイデーション、ユーザーの評価を収集・分析し、アイデーションの質と多様性を評価した。
• コンテンツ分析を用いて協働ダイナミクスを分類：コンサルティング的役割、支援的役割、反協働。
• テーマ的・頻度分析を根拠に、『ユニーク』および『高品質』とされるアイデーションの緩い定性的基準を設定した。
• トーン、構造、社会的ヒント（例：挨拶、'あなた/私'の参照）の使用を含む、プロンプトスタイルを追跡した。
• 自らアイデーションを行う場合とCo-GPTでのアイデーションを行う場合のアイデーション群を比較し、LLMの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 LLMと共同でアイデーションを行うことで、単独でのアイデーションと比較して、アイデーションの多様性と質はどのように変化するか？
• RQ2 アイデーションの過程で、人間とLLMの間で支配的となる協働ダイナミクスは何か？
• RQ3 ユーザーはどのようにLLMにプロンプトを送信するのか？また、そのプロンプト戦略にどのようなパターンが現れるか？
• RQ4 非伝統的または反協働的プロンプト行動は観察されたか？その背後にはどのような動機があるか？
• RQ5 LLMがアイデーションの評価者として果たす役割とは何か？また、クリエイティブワークフローにおいてその役割は望ましいとされるか？

主な発見

• LLMを活用したアイデーションは、単独でのアイデーションに比べ、より多様なユニークなアイデーションを生み出したが、絶対的な質の向上とは限らなかった。
• 参加者たちは、迅速なアイデーションにおける時間的圧力に応じて、簡潔で明確なプロンプトを、やや形式的なトーンで使用した。
• 主に2つの協働ダイナミクスが顕在化した：LLMがコンサルティング的役割（アイデーションの提供）を果たす場合、および支援的役割（アイデーションの精練や要約の支援）を果たす場合。
• 2名の参加者が、望ましい出力を強制するために脅しや質問形式のプロンプトを用いるという、特異な反協働的ダイナミクスを示した。
• 一部の参加者らはLLMを社会的エージェントとして扱い、挨拶や会話的ヒントを使用しており、人間らしい相互作用の期待を反映していた。
• GPT-3.5（無料で広く利用可能なモデル）が使用されたが、これにより出力の質と多様性に制限が生じた可能性はあったが、それでも単独でのアイデーションに比べて有意義な向上が見られた。