[논문 리뷰] Prompting Diverse Ideas: Increasing AI Idea Variance

Lennart Meincke, Ethan Mollick외 1명|arXiv (Cornell University)|2024. 01. 27.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 창의적 문제 해결 과정에서 인공지능이 생성하는 아이디어의 다양성을 높이기 위해 프롬프트 엔지니어링 기법을 조사한다. GPT-4를 사용해 50달러 이하의 대학생을 대상으로 제품 아이디어를 생성한 결과, 체인 오브 써미어(Chain-of-Thought) 프롬프팅이 아이디어의 산산이 흩어짐과 고유성을 크게 향상시켜 인간 집단 수준의 다양성에 가까워지며, 다른 프롬프팅 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Unlike routine tasks where consistency is prized, in creativity and innovation the goal is to create a diverse set of ideas. This paper delves into the burgeoning interest in employing Artificial Intelligence (AI) to enhance the productivity and quality of the idea generation process. While previous studies have found that the average quality of AI ideas is quite high, prior research also has pointed to the inability of AI-based brainstorming to create sufficient dispersion of ideas, which limits novelty and the quality of the overall best idea. Our research investigates methods to increase the dispersion in AI-generated ideas. Using GPT-4, we explore the effect of different prompting methods on Cosine Similarity, the number of unique ideas, and the speed with which the idea space gets exhausted. We do this in the domain of developing a new product development for college students, priced under $50. In this context, we find that (1) pools of ideas generated by GPT-4 with various plausible prompts are less diverse than ideas generated by groups of human subjects (2) the diversity of AI generated ideas can be substantially improved using prompt engineering (3) Chain-of-Thought (CoT) prompting leads to the highest diversity of ideas of all prompts we evaluated and was able to come close to what is achieved by groups of human subjects. It also was capable of generating the highest number of unique ideas of any prompt we studied.

연구 동기 및 목표

• 높은 평균 품질에도 불구하고 창의적 혁신 과제에서 인공지능이 생성하는 아이디어의 다양성이 제한되어 있는 문제를 해결하기 위해.
• 프롬프트 엔지니어링이 대규모 언어 모델이 생성하는 아이디어의 산재성과 고유성을 증가시킬 수 있는지 조사하기 위해.
• 특히 체인 오브 써미어(Chain-of-Thought) 프롬프팅을 포함한 다양한 프롬프팅 전략의 효과를 비교하여 아이디어 분산을 향상시키는 데 초점하기 위해.
• 다양한 프롬프팅 방법에 따라 아이디어 공간이 얼마나 빨리 고갈되는지 평가하기 위해.
• 동일한 영역에서 인간 집단의 아이디어 생성 성과와 비교하여 인공지능이 생성한 아이디어 다양성을 평가하기 위해.

제안 방법

• GPT-4를 사용해 다양한 프롬프팅 기법을 적용하여 대학생을 대상으로 50달러 이하의 제품 아이디어를 생성하였다.
• 체인 오브 써미어(Chain-of-Thought, CoT) 프롬프팅을 적용하여 단계별 추론을 유도함으로써 다수의 아이디어 경로를 탐색하도록 하였다.
• 생성된 아이디어 임베딩 간의 코사인 유사도(Cosine Similarity)를 측정하여 유사도와 산재성을 정량화함으로써 아이디어 다양성을 측정하였다.
• 각 프롬프트당 생성된 고유한 아이디어 수를 추적하여 아이디어 공간의 커버리지 및 고갈 속도를 평가하였다.
• 다양한 프롬프트 변형을 사용한 통제된 실험 설계를 통해 다양성 결과를 비교하였다.
• 동일한 도메인에서 인간 피험자 집단이 생성한 아이디어와 비교하여 인공지능이 생성한 아이디어 풀을 벤치마킹하였다.

실험 결과

연구 질문

• RQ1 프롬프트 엔지니어링을 통해 대규모 언어 모델이 생성하는 아이디어의 다양성이 유의미하게 증가할 수 있는가?
• RQ2 체인 오브 써미어 프롬프팅은 다른 프롬프팅 방법에 비해 아이디어 산재성을 얼마나 더 향상시키는가?
• RQ3 인공지능이 생성한 아이디어 풀은 인간 집단이 달 đạt한 다양성 수준에 얼마나 가까이 도달할 수 있는가?
• RQ4 다양한 프롬프팅 전략 하에서 아이디어 공간은 얼마나 빨리 고갈되는가?
• RQ5 프롬프팅 방법과 생성된 고유한 아이디어 수 사이의 관계는 어떠한가?

주요 결과

• 표준 프롬프팅을 사용한 인공지능이 생성한 아이디어 풀은 코사인 유사도 측정 결과 인간 피험자 집단의 아이디어 풀보다 유의미하게 낮은 다양성을 보였다.
• 체인 오브 써미어(Chain-of-Thought, CoT) 프롬프팅은 시험된 모든 프롬프팅 방법 중에서 가장 높은 아이디어 다양성을 생성하였다.
• CoT 프롬프팅은 연구된 모든 조건에서 가장 많은 고유한 아이디어를 생성하였다.
• CoT 프롬프팅을 통해 인공지능는 동일한 작업에서 인간 집단이 달달한 아이디어 다양성에 거의 도달할 수 있었다.
• 기타 프롬프팅 방법, 특히 흩어진 샘플(few-shot) 및 직접 프롬프팅은 낮은 아이디어 산재성과 더 빠른 아이디어 공간 고갈을 보였다.
• 본 연구는 프롬프트 엔지니어링이 특히 추론 기반 프롬프팅을 사용할 경우 인공지능이 생성하는 아이디어의 분산을 상당히 향상시킬 수 있음을 확인하였다.