[논문 리뷰] AI-Augmented Brainwriting: Investigating the use of LLMs in group ideation

Orit Shaer, Angelora Cooper외 3명|arXiv (Cornell University)|2024. 02. 22.

Team Dynamics and Performance인용 수 6

한 줄 요약

이 논문은 그룹 Brainwriting에 LLM을 통합하여 발산적 아이디어 생성과 수렴적 평가를 모두 다루고, 협업형 Group-AI Brainwriting 프레임워크, LLM 기반 평가 엔진, 그리고 아이데이션과 평가에 미치는 영향을 평가하기 위한 학부생 대상 실증 연구를 제시한다.

ABSTRACT

The growing availability of generative AI technologies such as large language models (LLMs) has significant implications for creative work. This paper explores twofold aspects of integrating LLMs into the creative process - the divergence stage of idea generation, and the convergence stage of evaluation and selection of ideas. We devised a collaborative group-AI Brainwriting ideation framework, which incorporated an LLM as an enhancement into the group ideation process, and evaluated the idea generation process and the resulted solution space. To assess the potential of using LLMs in the idea evaluation process, we design an evaluation engine and compared it to idea ratings assigned by three expert and six novice evaluators. Our findings suggest that integrating LLM in Brainwriting could enhance both the ideation process and its outcome. We also provide evidence that LLMs can support idea evaluation. We conclude by discussing implications for HCI education and practice.

연구 동기 및 목표

• LLM이 그룹 Brainwriting의 발산 단계가 아이디어 생성과 그에 따른 해결책 공간을 확장하도록 보강하는 방법을 탐구한다.
• LLM이 아이디어를 평가하고 선택함으로써 수렴(convergence) 단계에서 어떻게 도울 수 있는지 조사한다.
• 협업적 Group-AI Brainwriting 프레임워크를 설계하고 평가한다.
• 사전에 정의된 기준에 따라 아이디어 품질을 평가하는 LLM 기반 평가 엔진을 개발한다.
• 인간-인공지능 공동 창작(HCI) 교육과 실무에 관한 경험적 통찰을 제공한다.

제안 방법

• 아이디어 생성용 발산과 아이디어 개선용 수렴에 LLM을 통합한 다단계의 협업형 Group-AI Brainwriting 프레임워크 설계.
• Parallel 아이디어 생성 및 공유를 위한 온라인 작업공간으로 Conceptboard를 활용한다.
• GPT-3/GPT-4를 이용해 아이디어를 생성하고 다듬으며, 프롬프트 엔지니어링 훈련을 통해 프롬프트를 다듬는다.
• 정의된 기준점이 명확한 앵커를 갖춘 Likert 척도를 사용하여 관련성, 혁신성, 통찰력에 대해 아이디어를 점수화하는 LLM 평가 엔진의 개발.
• 학부 실물 상호작용 디자인 수업에서 질적 및 양적 측정을 포함한 실증 평가와 함께 전문가 및 초보자 인간 평가와의 비교.
• 자연어 처리 방법(spaCy, 토픽 모델링, LPA)을 통한 발산의 의미 분석과 인간 아이디어와 LLM이 생성한 아이디어의 비교.

실험 결과

연구 질문

• RQ1 RQ1: 협업 그룹 Brainwriting의 발산 단계에서 LLM의 활용이 아이디어 생성 과정과 그 결과를 향상시키는가?
• RQ2 RQ2: 협업 그룹 Brainwriting 과정의 수렴 단계에서 LLM이 아이디어 평가를 어떻게 도울 수 있는가?

주요 결과

• 발산 단계에 LLM을 통합하면 아이디어 생성이 향상되고 해결책 공간이 확장될 수 있으며, 아이디어의 분포와 내용에서 그 결과가 반영된다.
• 참여자들은 GPT-3가 독특한 시각을 제공하고 초기 인간 아이디어를 넘어서는 새로운 아이디어를 생성하는 데 도움을 주었다고 보고했다.
• LLM 기반 평가 엔진(GPT-4)은 정의된 기준과 척도로 아이디어를 관련성, 혁신성, 통찰력에 대해 점수화할 수 있으며, 그 결과를 전문가 및 초보자 인간 평가자와 비교했다.
• 이 접근법은 LLM이 수렴 과정에서 아이디어 평가를 도울 수 있음을 보여 주어, 추가 개발이 유망한 아이디어를 식별하는 데 도움을 준다.
• 이 프레임워크는 교수법을 확장하고 교육자 및 초보 디자이너를 위한 AI 보강 도구를 제공함으로써 HCI 교육에 기여하며, 인간-AI 협력적 아이데이션의 장점과 한계를 부각시킨다.