[논문 리뷰] Supermind Ideator: Exploring generative AI to support creative problem-solving

Steven Rick, Gianni Giacomelli외 10명|arXiv (Cornell University)|2023. 11. 03.

Machine Learning in Materials Science인용 수 11

한 줄 요약

논문은 디자인-무브 시퀀스를 활용하여 문제 공간과 해결 공간을 탐색하는 인간 창의적 문제 해결을 보강하는 특수 프롬프트, 파인튜닝, 그리고 구조화된 UI를 사용하는 LLM 기반 도구인 Supermind Ideator를 제시한다. 형성적 평가를 전문가들과 함께 포함하고 향후 확장에 대해 논의한다.

ABSTRACT

Previous efforts to support creative problem-solving have included (a) techniques (such as brainstorming and design thinking) to stimulate creative ideas, and (b) software tools to record and share these ideas. Now, generative AI technologies can suggest new ideas that might never have occurred to the users, and users can then select from these ideas or use them to stimulate even more ideas. Here, we describe such a system, Supermind Ideator. The system uses a large language model (GPT 3.5) and adds prompting, fine tuning, and a user interface specifically designed to help people use creative problem-solving techniques. Some of these techniques can be applied to any problem; others are specifically intended to help generate innovative ideas about how to design groups of people and/or computers ("superminds"). We also describe our early experiences with using this system and suggest ways it could be extended to support additional techniques for other specific problem-solving domains.

연구 동기 및 목표

• 전통적인 방법을 넘어 확장되는 창의적 문제 해결 도구의 필요성을 동기 부여한다.
• 생성형 AI가 인간 판단을 대체하지 않고 인간 아이디어 생성력을 보강하는 방식을 시연한다.
• 전문 프런트 엔드와 디자인-무브 분류가 아이디어 생산 워크플로를 구조화하는 방법을 보여준다.
• 프롬프트, 파인튜닝, UI를 LLM과 통합하여 집단 지능 설계를 지원하는 방법에 대한 아키텍처 및 방법론적 세부사항을 설명한다.

제안 방법

• 특수 프롬프트와 파인튜닝을 활용하여 창의적 아이디어를 생성하는 대형 언어 모델(GPT-3.5)을 사용한다.
• Supermind Design 방법론을 채택하며, Zoom In/Zoom Out/Analogize 및 Groupify/Cognify/Technify와 같은 무브 외에도 Reflect, Reformulate, Case examples와 같은 실험적 무브를 포함한다.
• 문제 탐색, 해결 탐색, 고급 무브 선택을 지원하는 최소한의 미니멀하고 작업에 집중된 UI를 설계한다.
• Cognify 또는 Groupify 무브에 맞춰 약 1600건의 사례 연구 예시 말뭉치로 모델을 파인튜닝하여 실제 세계 관행과 유사한 출력을 생성한다.
• 가능한(아마도 허구일 수 있는) 아이디어로 환각을 표기하여 확산적 사고를 지원하고 사실 콘텐츠의 오해 소지를 피한다.
• 확장성을 가능하게 하기 위해 UI, API, LLM을 구분하는 API 주도 아키텍처를 제공한다.

Figure 1. The Double Diamond method which highlights the two diamonds (problem and solution spaces) and showcases the four steps where you first discover and define the problem before then developing and delivering the solution. Source: Wikipedia - Double Diamond (design process model)

실험 결과

연구 질문

• RQ1 구조화된 AI 보조 아이디어 생성 시스템이 무보조 아이데이션에 비해 창의적 문제 해결의 아이디어 폭과 깊이를 향상시킬 수 있는가?
• RQ2 특수 프롬프트, 파인튜닝, 무브 기반 인터페이스가 사용자 참여도와 유용성 인식에 어떤 영향을 주는가?
• RQ3 GPT가 생성한 아이디어(환각 포함)를 인간 창의력의 트리거로 사용하는 것의 이점과 한계는 무엇인가?
• RQ4 Supermind Design 방법론을 AI 보조 도구에 구현하여 집단 지능(집단적으로 지능적 인 그룹)을 설계하는 방법은 무엇인가?

주요 결과

• 참여자들은 전반적으로 도구에 긍정적으로 반응했고 문제의 여러 차원을 신속하게 탐색하는 데 도움이 될 잠재력을 보았다.
• 사용자들은 Ideator가 팀이 고객 문제를 분해하고 낯선 도메인에서 이해를 가속화하는 데 도움이 될 수 있다고 보고했다.
• 인터페이스는 대규모 출력에서 아이디어 손실을 완화하기 위한 북마크 및 평가와 같은 아이디어 캡처를 지원했고 조각을 재구성하는 데 도움을 주었다.
• 일부 한계로는 시스템이 때때로 상류의 효율성에 집중하는 경향이 있어 상류/하류 탐색으로 이어지지 않는 점이 지적되어 확장 방향을 제시했다.
• 본 연구는 이 접근 방식이 인간의 창의성을 대체하기보다는 보강하고, 상당한 경험이 있는 전문가들의 아이디어 화를 규모화할 수 있음을 시사한다.

Figure 2. The Supermind Ideator Interface. The left side contains the Generate Panel where users input their problem and select Moves to run. The right side contains ideas generated by the system.