[論文レビュー] AI-Augmented Brainwriting: Investigating the use of LLMs in group ideation

Orit Shaer, Angelora Cooper+3 more|arXiv (Cornell University)|Feb 22, 2024

Team Dynamics and Performance被引用数 6

ひとこと要約

本稿は、LLMsをグループ・ブレインライティングに組み込み、発散的なアイデア創出と収束的な評価の双方を行うことを探る。共同作業型 Group-AI Brainwriting フレームワーク、LLM を用いた評価エンジン、およびアイデア創出と評価への影響を評価する大学生を対象とした実証研究を提示する。

ABSTRACT

The growing availability of generative AI technologies such as large language models (LLMs) has significant implications for creative work. This paper explores twofold aspects of integrating LLMs into the creative process - the divergence stage of idea generation, and the convergence stage of evaluation and selection of ideas. We devised a collaborative group-AI Brainwriting ideation framework, which incorporated an LLM as an enhancement into the group ideation process, and evaluated the idea generation process and the resulted solution space. To assess the potential of using LLMs in the idea evaluation process, we design an evaluation engine and compared it to idea ratings assigned by three expert and six novice evaluators. Our findings suggest that integrating LLM in Brainwriting could enhance both the ideation process and its outcome. We also provide evidence that LLMs can support idea evaluation. We conclude by discussing implications for HCI education and practice.

研究の動機と目的

• LLMs がグループ・ブレインライティングの divergence ステージを拡張し、アイデア創出と生まれる解の空間を高める方法を探る。
• LLMs が収束ステージでアイデアを評価・選択するのをどのように支援できるかを調査する。
• 協調的な Group-AI Brainwriting フレームワークを設計・評価する。
• 事前に定義された基準でアイデアの質を評価する LLM ベースの評価エンジンを開発する。
• ヒューマン-AI共創に関するHCI教育と実践への実証的洞察を提供する。

提案手法

• LLM を発想生成のための divergence と、アイデア強化のための convergence に統合した、協調的で多段階の Group-AI Brainwriting フレームワークを設計する。
• アイデアの同時生成と共有のオンライン作業空間として Conceptboard を使用する。
• GPT-3/GPT-4 を用いてアイデアを生成および洗練し、プロンプト工学トレーニングを通じてプロンプトを改良する。
• 定義済みアンカーを持つリッカート尺度を用いて、関連性・革新性・洞察力を評価するLLM評価エンジンを開発する。
• 定性的および定量的指標を用いた学部実務型インタラクションデザイン講義での実証評価と、専門家および初心者の人間評価との比較を行う。
• NLP 手法（spaCy、トピックモデリング、LPA）による divergence の意味解析と、人間生成アイデアとLLM生成アイデアの比較。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 協働型グループ・ブレインライティングの divergence ステージでの LLM の使用は、アイデア創出プロセスとその成果を高めるか？
• RQ2 RQ2: 協働型グループ・ブレインライティングプロセスの convergence ステージで、LLMs はどのようにアイデアの評価を支援できるか？

主な発見

• divergence ステージに LLM を統合することでアイデア創出を強化し、アイデアの分布と内容に反映される解の空間を拡大できる。
• 参加者は GPT-3 が独自の視点を提供し、初期の人間のアイデアを超える新しいアイデアの生成を支援したと報告した。
• LLMベースの評価エンジン（GPT-4）は、定義された基準とスケールでアイデアを関連性・革新性・洞察力で評価でき、その出力は専門家と初心者の人間評価者と比較された。
• このアプローチは、収束時のアイデア評価において LLM が支援となり、今後の発展の可能性が高いアイデアの特定を助けるという証拠を示している。
• このフレームワークは、教育方法を拡張し、教育者と初心者デザイナーのためのAI強化ツールを提供することでHCI教育に貢献するとともに、人間とAIの協働的なアイデア創出の長所と限界を際立たせる。