[논문 리뷰] ChatGPT and Other Large Language Models as Evolutionary Engines for Online Interactive Collaborative Game Design

Pier Luca Lanzi, Daniele Loiacono|arXiv (Cornell University)|2023. 02. 09.

Artificial Intelligence in Games참고 문헌 47인용 수 11

한 줄 요약

이 논문은 대형 언어 모델(LLMs)이 이끄는 대화형 진화를 활용하여 자유 형식 텍스트로 게임 콘셉트를 공동 설계하고, 인간 참가자가 평가하는 온라인 프레임워크를 제시한다. 이 접근법은 텔레그램을 이용한 피드백으로 약 80명의 디자이너를 대상으로 세 가지 작업을 통해 평가되었다.

ABSTRACT

Large language models (LLMs) have taken the scientific world by storm, changing the landscape of natural language processing and human-computer interaction. These powerful tools can answer complex questions and, surprisingly, perform challenging creative tasks (e.g., generate code and applications to solve problems, write stories, pieces of music, etc.). In this paper, we present a collaborative game design framework that combines interactive evolution and large language models to simulate the typical human design process. We use the former to exploit users' feedback for selecting the most promising ideas and large language models for a very complex creative task - the recombination and variation of ideas. In our framework, the process starts with a brief and a set of candidate designs, either generated using a language model or proposed by the users. Next, users collaborate on the design process by providing feedback to an interactive genetic algorithm that selects, recombines, and mutates the most promising designs. We evaluated our framework on three game design tasks with human designers who collaborated remotely.

연구 동기 및 목표

• LLMs가 자유 형식의 텍스트 게임 아이디어에 대해 진화 연산자(랜덤 초기화, 교차, 돌연변이)를 구현할 수 있음을 입증한다.
• 디자인 콘셉트를 진화시키기 위해 인간과 LLM 간의 실시간 온라인 협업을 가능하게 한다.
• 평가 수집을 위한 Telegram 기반 인터페이스의 실행 가능성 및 사용자 경험을 평가한다.
• 일련의 디자인 작업 및 참여자 그룹에 걸쳐 프레임워크를 평가하여 일반성 및 실용성을 검증한다.

제안 방법

• 게임 콘셉트를 자유 형식 텍스트로 표현하고 온라인 인구 집단과 데이터베이스에서 관리한다.
• LLM에 대한 프롬프트를 통해 토너먼트 선택, 교차, 돌연변이를 포함하는 인터랙티브 진화 알고리즘을 사용한다.
• Telegram 또는 웹 인터페이스를 통해 후보 설계를 사용자에게 공개하고 질적 삼값 피드백(양의/중립/부정)을 수집한다.
• 텍스트 아이디어에 대한 유전 연산자를 구현하기 위해 LLM들(ChatGPT 또는 DaVinci GPT-3)을 활용한다.
• 구조화된 디자인 세션과 Global Game Jam 시나리오를 모방하기 위해 고정된 기간으로 다중 실험을 수행한다.
• 평가, 아이디어 길이 및 나타나는 기제를 분석하여 창의성과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 인터랙티브 진화 설정에서 자유 형식 텍스트 아이디어에 대해 LLM이 유전 연산자(랜덤 초기화, 교차, 돌연변이)을 효과적으로 구현할 수 있는가?
• RQ2 Telegram 기반 온라인 피드백 루프가 협업 게임 설계를 지원하고 새로운 출현하는 역학을 만들어내는가?
• RQ3 현실 세계 맥락에서 LLM 주도 설계 반복의 질적 강점과 한계(예: 일관성, 참신성)는 무엇인가?
• RQ4 다양한 디자인 작업(보드 게임, 비디오 게임) 및 이벤트 형식(워크숍 대 Global Game Jam)에서 프레임워크의 성능은 어떠한가?

주요 결과

• 해당 프레임워크는 세 가지 디자인 작업에 걸쳐 약 80명의 디자이너를 지원했고, 두 작업은 4일 간의 워크플로우, Global Game Jam 세션은 더 짧았다.
• 보드 게임 작업은 반복을 거치며 더 긴 콘셉트를 생성했고 생태계 유지 관리 역학으로의 전환을 보였으며 이는 출현적 참신성을 시사한다.
• 비디오 게임 작업은 색상 조작 및 빛/반사 상호작용과 같은 새로운 역학을 낳았고 출현적 실험을 보여주었다.
• 참가자들은 출현적 참신성과 다양한 서사를 긍정적으로 보고했으며, 작은 인구 규모로 인한 일관성 저하와 중복이 부정적 요인으로 지적되었다.
• 두 주요 실험에서 보드 게임 콘셉트에 대한 평가가 799건, 비디오 게임 콘셉트에 대한 평가가 1025건에 이르렀으며 Global Game Jam 세션은 더 짧고 평가 수가 적었다.
• 본 연구에서는 ChatGPT와 DaVinci GPT-3 간의 성능 차이가 관찰되지 않았고, 두 모델 모두 연산자용 실용적인 LLM 옵션으로 작용했다.