[论文解读] Supermind Ideator: Exploring generative AI to support creative problem-solving

Steven Rick, Gianni Giacomelli+10 more|arXiv (Cornell University)|Nov 3, 2023

Machine Learning in Materials Science被引用 11

一句话总结

本文提出了 Supermind Ideator，这是一种基于大语言模型的工具，使用专门的提示、微调和结构化界面来通过设计移动序列来增强人类在探索问题和解决方案空间时的创造性解决能力。它包括对专业人士的形成性评估并讨论未来的扩展。

ABSTRACT

Previous efforts to support creative problem-solving have included (a) techniques (such as brainstorming and design thinking) to stimulate creative ideas, and (b) software tools to record and share these ideas. Now, generative AI technologies can suggest new ideas that might never have occurred to the users, and users can then select from these ideas or use them to stimulate even more ideas. Here, we describe such a system, Supermind Ideator. The system uses a large language model (GPT 3.5) and adds prompting, fine tuning, and a user interface specifically designed to help people use creative problem-solving techniques. Some of these techniques can be applied to any problem; others are specifically intended to help generate innovative ideas about how to design groups of people and/or computers ("superminds"). We also describe our early experiences with using this system and suggest ways it could be extended to support additional techniques for other specific problem-solving domains.

研究动机与目标

• 推动需要改进的创造性问题解决工具的需求，以超越传统方法的规模化。
• 演示生成式 AI 如何增强人类的构思而不取代人类判断。
• 展示一个专门的前端和设计移动分类法如何将构思工作流结构化。
• 阐明在将提示、微调和 UI 与 LLM 集成以支持集体智能设计方面的架构与方法细节。

提出的方法

• 使用大语言模型（GPT-3.5）结合专门的提示和微调来生成创造性想法。
• 采用 Supermind Design 方法论，包括 Zoom In/Zoom Out/Analogize 以及 Groupify/Cognify/Technify 等移动，以及实验性移动 Reflect、Reformulate 与 Case 例子。
• 设计一个极简、以任务为焦点的 UI，支持问题探索、解决方案探索和高级移动选择。
• 在约 1600 个与 Cognify 或 Groupify 移动对齐的案例研究示例语料上对模型进行微调，以产出类似于现实世界做法的输出。
• 将幻觉标注为可能的（也许是虚构的）想法，以支持发散性思维，同时避免对事实内容的误导。
• 提供一个 API 驱动的架构，将 UI、API 和 LLM 分离，以实现可扩展性和社区扩展。

Figure 1. The Double Diamond method which highlights the two diamonds (problem and solution spaces) and showcases the four steps where you first discover and define the problem before then developing and delivering the solution. Source: Wikipedia - Double Diamond (design process model)

实验结果

研究问题

• RQ1 与未辅助构思相比，结构化的 AI 辅助创意生成系统是否能提高对创造性问题解决的 Ideen 的广度和深度？
• RQ2 专门的提示、微调以及基于移动的界面如何影响用户参与度和感知有用性？
• RQ3 使用 GPT 生成的想法（包括幻觉）作为触发人类创造力的好处与局限在哪些？
• RQ4 如何在 AI 辅助工具中把 Supermind Design 方法学落地，以设计超级大脑（集体智能群体）？

主要发现

• 参与者总体对该工具反应积极，认为其有潜力帮助快速探索问题的多个维度。
• 用户表示 Ideator 可以帮助团队分解客户问题并在陌生领域加速理解。
• 界面支持想法捕捉（书签和评分），以减缓在大输出中的想法丢失，并促进片段的重新组合。
• 也有一些局限性被提及，例如系统有时更关注上游效率而非上下游探索，暗示未来扩展的方向。
• 研究表明该方法是对人类创造力的增强而非替代，并且可以扩展专业人士的思维发散能力。

Figure 2. The Supermind Ideator Interface. The left side contains the Generate Panel where users input their problem and select Moves to run. The right side contains ideas generated by the system.