[논문 리뷰] Rapid AIdeation: Generating Ideas With the Self and in Collaboration With Large Language Models

Gionnieve Lim, Simon T. Perrault|arXiv (Cornell University)|2024. 03. 19.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 연구는 21명의 참가자와 함께 실시한 워크숍을 통해 대규모 언어 모델(Large Language Models, LLMs)이 디자인 맥락에서 빠른 아이디어 도출을 어떻게 향상시키는지 조사한다. 연구 결과, LLM 협업은 단독 아이디어 도출보다 더 다양한 고품질의 아이디어를 생성하는 것으로 나타났으며, 사용자들은 일반적으로 상담자 또는 보조자 역할의 협업 방식을 취한 반면, 드물게도 위협적인 프롬프트(예: 위협)와 같은 반협업적 프롬프트 방식도 나타났다.

ABSTRACT

Generative artificial intelligence (GenAI) can rapidly produce large and diverse volumes of content. This lends to it a quality of creativity which can be empowering in the early stages of design. In seeking to understand how creative ways to address practical issues can be conceived between humans and GenAI, we conducted a rapid ideation workshop with 21 participants where they used a large language model (LLM) to brainstorm potential solutions and evaluate them. We found that the LLM produced a greater variety of ideas that were of high quality, though not necessarily of higher quality than human-generated ideas. Participants typically prompted in a straightforward manner with concise instructions. We also observed two collaborative dynamics with the LLM fulfilling a consulting role or an assisting role depending on the goals of the users. Notably, we observed an atypical anti-collaboration dynamic where participants used an antagonistic approach to prompt the LLM.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 디자인 과정의 빠른 아이디어 도출을 어떻게 지원하는지 조사하기 위해.
• 창의적 브레인스토밍 과정에서 인간-LLM 협업의 역학을 이해하기 위해.
• 프롬프팅 전략과 그 아이디어 품질 및 다양성에 미치는 영향을 조사하기 위해.
• 인간-AI 아이디어 도출 과정에서 비전통적인 상호작용 패턴, 예를 들어 반협업적 프롬프팅을 식별하기 위해.
• 자기 아이디어 도출과 LLM과의 공동 창작을 비교하여 그 효과성을 평가하기 위해.

제안 방법

• 21명의 참가자와 함께 두 단계 설계로 이루어진 빠른 아이디어 도출 워크숍을 실시: 첫 번째 단계는 단독 아이디어 도출, 두 번째 단계는 ChatGPT(GPT-3.5)와의 아이디어 도출.
• 프롬프트, 생성된 아이디어, 사용자 평가를 수집하고 분석하여 아이디어 품질과 다양성을 평가하기 위해.
• 내용 분석을 활용하여 협업 역학을 분류: 상담 역할, 보조 역할, 반협업.
• 주제 분석 및 빈도 분석에 기반하여 '유일한' 및 '고품질' 아이디어에 대해 느슨한 질적 기준을 적용하기 위해.
• 톤, 구조, 사회적 신호(예: 인사, '당신/나' 참조)의 사용을 포함한 프롬프팅 스타일을 추적하기 위해.
• 자기 아이디어 도출과 Co-GPT 아이디어 도출의 아이디어 집합을 비교하여 LLM의 아이디어 생성에 미치는 영향 평가하기 위해.

실험 결과

연구 질문

• RQ1 LLM과의 공동 창작은 단독 아이디어 도출에 비해 빠른 아이디어 도출에서 아이디어의 다양성과 품질에 어떤 영향을 미치는가?
• RQ2 아이디어 도출 과정에서 인간과 LLM 간의 주요 협업 역학은 무엇인가?
• RQ3 사용자들은 LLM을 어떻게 프롬프트하는가? 그리고 그 프롬프팅 전략에서 나타나는 패턴은 무엇인가?
• RQ4 비전통적이거나 반협업적 프롬프팅 행동은 관찰되었는가? 이러한 행동의 동기는 무엇인가?
• RQ5 LLM이 아이디어 평가자로 기능할 경우, 이는 창의적 워크플로우에서 바람직한가?

주요 결과

• LLM 보조 아이디어 도출은 단독 아이디어 도출에 비해 더 다양한 고유한 아이디어를 생성했지만, 절대적인 수준에서는 품질이 높다고 보장하지는 않았다.
• 참가자들은 일반적으로 간결하고 직관적인 프롬프트를 사용했으며, 빠른 아이디어 도출의 시간 압박을 반영한 반형식적인 어조를 취했다.
• 두 가지 주요 협업 역학이 나타났다: LLM이 상담자 역할을 하여 아이디어를 제공하거나, 보조자 역할을 하여 아이디어를 다듬거나 요약하는 방식.
• 이상적인 반협업 역학은 두 명의 참가자가 요구된 출력을 강제로 이끌어내기 위해 위협적이거나 심문하는 프롬프트를 사용한 것으로, 이는 비정상적인 행동으로 간주되었다.
• 일부 참가자들은 LLM을 사회적 에이전트로 간주하여 인사와 대화적 신호를 사용했으며, 이는 인간과 유사한 상호작용 기대를 반영했다.
• GPT-3.5는 무료로 이용 가능하고 널리 보급된 모델이지만, 이로 인해 출력의 품질과 다양성이 제한되었을 수 있으나, 여전히 단독 아이디어 도출에 비해 의미 있는 향상 효과를 보였다.