[論文レビュー] Supermind Ideator: Exploring generative AI to support creative problem-solving

Steven Rick, Gianni Giacomelli+10 more|arXiv (Cornell University)|Nov 3, 2023

Machine Learning in Materials Science被引用数 11

ひとこと要約

論文は、特殊なプロンプト、ファインチューニング、構造化されたUIを用いて人間の創造的問題解決を拡張するデザイン・ムーブ列を提供するLLMベースのツール、Supermind Ideatorを提示します。専門家を対象とした形成的評価を含み、今後の拡張について議論します。

ABSTRACT

Previous efforts to support creative problem-solving have included (a) techniques (such as brainstorming and design thinking) to stimulate creative ideas, and (b) software tools to record and share these ideas. Now, generative AI technologies can suggest new ideas that might never have occurred to the users, and users can then select from these ideas or use them to stimulate even more ideas. Here, we describe such a system, Supermind Ideator. The system uses a large language model (GPT 3.5) and adds prompting, fine tuning, and a user interface specifically designed to help people use creative problem-solving techniques. Some of these techniques can be applied to any problem; others are specifically intended to help generate innovative ideas about how to design groups of people and/or computers ("superminds"). We also describe our early experiences with using this system and suggest ways it could be extended to support additional techniques for other specific problem-solving domains.

研究の動機と目的

• 従来の方法を超えて拡張可能な、創造的な問題解決ツールの向上の必要性を動機づける。
• 生成AIが人間の判断を置換することなく、アイデア創出を補強できることを示す。
• 専門的なフロントエンドとデザイン・ムーブの分類がアイデア創出のワークフローを構造化できることを示す。
• プロンプト、ファインチューニング、UIをLLMと統合して集合知設計を支援するための、アーキテクチャと方法論的な詳細を示す。

提案手法

• 特殊なプロンプトとファインチューニングを用いて、創造的なアイデアを生成する大規模言語モデル（GPT-3.5）を使用する。
• Zoom In/Zoom Out/Analogize、Groupify/Cognify/Technify のようなムーブを含む Supermind Design 手法を採用し、Reflect、Reformulate、Case examples などの実験的ムーブも加える。
• 問題探索、解決策探索、高度なムーブ選択を支援する、ミニマリストでタスク志向のUIを設計する。
• Cognify または Groupify のムーブに合わせた約1600件のケーススタディ例のコーパスでモデルをファインチューニングして、実世界の実践を模した出力を生成する。
• 誤情報の表現を避けつつ、発散思考を支援するために、幻覚的なアイデアを“可能性あり（あるいは架空のものかもしれない）”としてラベル付けする。
• UI、API、LLMを分離したAPI駆動アーキテクチャを提供して、拡張性とコミュニティ拡張を可能にする。

Figure 1. The Double Diamond method which highlights the two diamonds (problem and solution spaces) and showcases the four steps where you first discover and define the problem before then developing and delivering the solution. Source: Wikipedia - Double Diamond (design process model)

実験結果

リサーチクエスチョン

• RQ1 構造化されたAI支援アイデーションシステムは、支援なしのアイデア創出と比較して、創造的問題解決の発想の幅と深さを改善できるか？
• RQ2 専門的なプロンプト、ファインチューニング、ムーブベースのインターフェースが、ユーザーエンゲージメントと有用性の知覚にどのように影響するか？
• RQ3 人間の創造性の触媒として、GPT生成アイデア（幻覚を含む）を使用することの利点と限界は何か？
• RQ4 Supermind Design 手法を、集合知的なグループを設計するAI支援ツールにどのように運用可能化できるか？

主な発見

• 参加者は全体としてツールにポジティブに反応し、問題の複数の次元を迅速に探る可能性を見出した。
• Ideator は、クライアントの問題を分解し、未知の領域での理解を加速させるのに役立つと報告された。
• インターフェースはアイデアの捕捉（ブックマークと評価）をサポートし、多大な出力でのアイデア喪失を緩和し、断片の再結合を促進した。
• 上流の効率性に焦点が置かれ、上流/下流の探索のバランスを欠くことがある、という制限が指摘され、拡張の方向性が示唆された。
• この研究は、アプローチが人間の創造性を補強するものであり、 substantial 経験を持つ専門家のアイデーションをスケールできることを示唆している。

Figure 2. The Supermind Ideator Interface. The left side contains the Generate Panel where users input their problem and select Moves to run. The right side contains ideas generated by the system.