[論文レビュー] ChatGPT and Other Large Language Models as Evolutionary Engines for Online Interactive Collaborative Game Design

Pier Luca Lanzi, Daniele Loiacono|arXiv (Cornell University)|Feb 9, 2023

Artificial Intelligence in Games参考文献 47被引用数 11

ひとこと要約

The paper presents an online framework that uses interactive evolution driven by large language models (LLMs) to collaboratively design game concepts as free-form text, evaluated by human participants. It evaluates the approach via three tasks with about 80 designers using Telegram for feedback.

ABSTRACT

Large language models (LLMs) have taken the scientific world by storm, changing the landscape of natural language processing and human-computer interaction. These powerful tools can answer complex questions and, surprisingly, perform challenging creative tasks (e.g., generate code and applications to solve problems, write stories, pieces of music, etc.). In this paper, we present a collaborative game design framework that combines interactive evolution and large language models to simulate the typical human design process. We use the former to exploit users' feedback for selecting the most promising ideas and large language models for a very complex creative task - the recombination and variation of ideas. In our framework, the process starts with a brief and a set of candidate designs, either generated using a language model or proposed by the users. Next, users collaborate on the design process by providing feedback to an interactive genetic algorithm that selects, recombines, and mutates the most promising designs. We evaluated our framework on three game design tasks with human designers who collaborated remotely.

研究の動機と目的

• LLMs が自由形式のテキストのゲームアイデアに対して進化的演算子（ランダム初期化、交叉、突然変異）を実装できることを示す。
• 人間と LLMs のリアルタイム、オンライン協働により設計概念を進化させることを可能にする。
• 評価収集のための Telegram ベースのインターフェイスの実現性とユーザー体験を評価する。
• 一般性と実用性を検証するため、複数の設計タスクと参加者グループにわたってフレームワークを評価する。

提案手法

• ゲームアイデアを自由形式のテキストとして表現し、オンラインの集団とデータベースで管理する。
• LLM へのプロンプトを介してトーナメント選択、交叉、突然変異を実装した対話的進化アルゴリズムを使用する。
• Telegram またはウェブインターフェイスを介して候補デザインをユーザーに公開し、三値の定性的フィードバック（肯定/中立/否定）を収集する。
• テキストアイデアの遺伝子演算子を実装するために LLMs（ChatGPT または DaVinci GPT-3）を用いる。
• 構造化されたデザインセッションおよび Global Game Jam のシナリオを模倣するため、固定期間の複数の実験を実施する。
• 評価、アイデアの長さ、および出現する機構を分析して創造性と一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな進化設定において、LLMs は自由形式のテキストアイデアに対して遺伝子演算子（ランダム初期化、交叉、突然変異）を効果的に実装できるか。
• RQ2 Telegram ベースのオンラインフィードバックループは協働的なゲームデザインを支援し、新たな出現機構を生み出すか。
• RQ3 現実世界の設定での LLM 主導のデザイン反復の定性的な強みと限界（例: 一貫性、独創性）は何か。
• RQ4 ボードゲームとビデオゲームという異なる設計タスク、およびワークショップと Global Game Jam のイベント形式で、フレームワークはどのように機能するか。

主な発見

• このフレームワークは、三つの設計タスクに対して約80名のデザイナーをサポートし、二つのタスクに対しては四日間のワークフロー、Global Game Jam セッションは短い形式だった。
• ボードゲームタスクは概念を長くし、反復を通じてエコシステム維持型の機構へとシフトし、新規性の出現を示した。
• ビデオゲームタスクは、色の操作や光・反射の相互作用などの新規機構を生み出し、出現的な実験を示した。
• 参加者は出現的な新規性と多様なストーリーを肯定的と報告した一方、少数の集団サイズによる一貫性の欠如と冗長さを否定的と指摘した。
• 評価は、二つの主要実験でボードゲーム概念合計799件、ビデオゲーム概念合計1025件だった。Global Game Jam セッションは短く、評価数も少なかった。
• 本研究では ChatGPT と DaVinci GPT-3 の性能差は観察されず、どちらもオペレータの LLM の実装として有効な選択肢だった。