[論文レビュー] Prompting Diverse Ideas: Increasing AI Idea Variance

Lennart Meincke, Ethan Mollick+1 more|arXiv (Cornell University)|Jan 27, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿では、創造的問題解決におけるAI生成アイデアの多様性を向上させるためのプロンプト工学的手法を調査している。GPT-4を用いて50ドル未満の大学生向け製品アイデアを生成したところ、Chain-of-Thought（CoT）プロンプトがアイデアの分散と独自性を顕著に向上させ、人間のグループ性能に近い多様性を達成した。他のプロンプト手法に比べて優れた結果を示した。

ABSTRACT

Unlike routine tasks where consistency is prized, in creativity and innovation the goal is to create a diverse set of ideas. This paper delves into the burgeoning interest in employing Artificial Intelligence (AI) to enhance the productivity and quality of the idea generation process. While previous studies have found that the average quality of AI ideas is quite high, prior research also has pointed to the inability of AI-based brainstorming to create sufficient dispersion of ideas, which limits novelty and the quality of the overall best idea. Our research investigates methods to increase the dispersion in AI-generated ideas. Using GPT-4, we explore the effect of different prompting methods on Cosine Similarity, the number of unique ideas, and the speed with which the idea space gets exhausted. We do this in the domain of developing a new product development for college students, priced under $50. In this context, we find that (1) pools of ideas generated by GPT-4 with various plausible prompts are less diverse than ideas generated by groups of human subjects (2) the diversity of AI generated ideas can be substantially improved using prompt engineering (3) Chain-of-Thought (CoT) prompting leads to the highest diversity of ideas of all prompts we evaluated and was able to come close to what is achieved by groups of human subjects. It also was capable of generating the highest number of unique ideas of any prompt we studied.

研究の動機と目的

• 高品質な平均値を示す一方で、創造的イノベーションタスクにおいてAI生成アイデアの多様性が限られているという問題に対処する。
• プロンプト工学が、大規模言語モデルが生成するアイデアの分散性と独自性を向上させることを調査する。
• 特にChain-of-Thought（CoT）プロンプトを含む、さまざまなプロンプト戦略の有効性を比較し、アイデアのばらつきを向上させる効果を検証する。
• さまざまなプロンプト手法を用いた場合のアイデア空間の枯渇速度を評価する。
• AIが生成するアイデアの多様性を、同じタスクにおける人間グループのパフォーマンスとベンチマーク比較する。

提案手法

• GPT-4を用いて、さまざまなプロンプト手法を用いて50ドル未満の大学生向け製品アイデアを生成した。
• Chain-of-Thought（CoT）プロンプトを適用し、段階的な推論を促進することで、複数のアイデアの道筋を探索するように誘導した。
• 生成されたアイデアの埋め込み表現間のコサイン類似度を用いて、アイデアの類似度と分散度を定量的に測定した。
• 1つのプロンプトあたりに生成されたユニークなアイデアの数を追跡し、アイデア空間のカバー範囲と枯渇率を評価した。
• 複数のプロンプトバージョンを用いた制御された実験デザインを採用し、多様性の結果を比較した。
• 同じ分野における人間被験者グループが生成したアイデアと比較して、AIが生成したアイデアプールをベンチマークした。

実験結果

リサーチクエスチョン

• RQ1 プロンプト工学は、大規模言語モデルが生成するアイデアの多様性を顕著に向上させることができるか？
• RQ2 Chain-of-Thoughtプロンプトは、他のプロンプト手法に比べてアイデアの分散性をどの程度向上させるか？
• RQ3 AIが生成するアイデアプールは、人間グループが達成する多様性にどの程度近づけるか？
• RQ4 さまざまなプロンプト戦略を用いた場合、アイデア空間はどの程度の速さで枯渇するか？
• RQ5 プロンプト手法と生成されたユニークなアイデア数の間にどのような関係があるか？

主な発見

• 標準的なプロンプトを用いたAI生成アイデアプールは、コサイン類似度の測定結果から、人間被験者グループのアイデアプールに比べて顕著に多様性に欠けていた。
• Chain-of-Thoughtプロンプトは、全テストされたプロンプト手法の中で最も高いアイデア多様性を達成した。
• CoTプロンプトは、全条件において最も多くのユニークなアイデアを生成した。
• CoTプロンプトは、AIが人間グループが達成するアイデア多様性に近づくのを可能にした。
• 少数の例提示（few-shot）や直接的プロンプト（direct prompting）などの他のプロンプト手法は、アイデアの分散性が低く、アイデア空間の枯渇が速かった。
• 本研究は、推論に基づくプロンプト手法を用いることで、AI生成アイデアの分散性を顕著に向上させられることを確認した。