[논문 리뷰] PANGeA: Procedural Artificial Narrative using Generative AI for Turn-Based Video Games

Steph Buongiorno, Lawrence J. Klinkert외 3명|arXiv (Cornell University)|2024. 04. 30.

Artificial Intelligence in Games인용 수 4

한 줄 요약

PANGeA는 대화형 RPG에서 자유형 입력을 받는 플레이어의 상황에서도 서사 일관성을 유지하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 새로운 프레임워크를 제안한다. 이 프레임워크는 성격 기반 NPC와 서버 기반 메모리 시스템을 통해 동적이고 서사 일관성 있는 대화 및 절차적 콘텐츠 생성을 가능하게 한다. 실증 평가를 통해 두 개의 데모 게임에서 LLM의 응답이 변화하는 서사에 잘 맞춰진다는 것이 입증되었다.

ABSTRACT

This research introduces Procedural Artificial Narrative using Generative AI (PANGeA), a structured approach for leveraging large language models (LLMs), guided by a game designer's high-level criteria, to generate narrative content for turn-based role-playing video games (RPGs). Distinct from prior applications of LLMs used for video game design, PANGeA innovates by not only generating game level data (which includes, but is not limited to, setting, key items, and non-playable characters (NPCs)), but by also fostering dynamic, free-form interactions between the player and the environment that align with the procedural game narrative. The NPCs generated by PANGeA are personality-biased and express traits from the Big 5 Personality Model in their generated responses. PANGeA addresses challenges behind ingesting free-form text input, which can prompt LLM responses beyond the scope of the game narrative. A novel validation system that uses the LLM's intelligence evaluates text input and aligns generated responses with the unfolding narrative. Making these interactions possible, PANGeA is supported by a server that hosts a custom memory system that supplies context for augmenting generated responses thus aligning them with the procedural narrative. For its broad application, the server has a REST interface enabling any game engine to integrate directly with PANGeA, as well as an LLM interface adaptable with local or private LLMs. PANGeA's ability to foster dynamic narrative generation by aligning responses with the procedural narrative is demonstrated through an empirical study and ablation test of two versions of a demo game. These are, a custom, browser-based GPT and a Unity demo. As the results show, PANGeA holds potential to assist game designers in using LLMs to generate narrative-consistent content even when provided varied and unpredictable, free-form text input.

연구 동기 및 목표

• 플레이어가 자유형 텍스트를 입력할 경우 LLM 기반 전략적 턴제 RPG에서 서사 일관성을 유지하는 데 도전 과제를 해결하기 위해.
• 서사 일관성을 보장하면서도 설정, 아이템, NPC를 포함한 절차적 다양성 있는 게임 콘텐츠를 생성하기 위해.
• 빅 5 성격 모델을 기반으로 한 개인화된 NPC 상호작용을 통해 동적이고 성격 기반의 대화를 가능하게 하기 위해.
• 게임 엔진에 종속되지 않는 확장 가능한 시스템을 개발하고, REST 및 LLM 인터페이스를 통해 통합을 가능하게 하기 위해.
• 다양한 입력 조건 하에서 LLM 응답이 절차적 서사와 일치하는지 검증할 수 있는 프레임워크의 능력을 입증하기 위해.

제안 방법

• PANGeA는 서버 기반의 커스터마이즈된 메모리 시스템을 사용하여 서사 맥락을 저장하고 검색함으로써 LLM 기반 응답 생성에 활용한다.
• LLM 자체가 응답을 평가하고 필터링하여 현재 서사 상태와의 일치성을 보장하는 검증 메커니즘을 도입한다.
• NPC는 빅 5 성격 모델에서 유래한 성격 특성을 기반으로 하여 프롬프트 엔지니어링을 통해 대화 생성에 영향을 미친다.
• 게임 엔진과의 통합을 위해 REST API를 통해 실시간으로 게임과 LLM 백엔드 간 통신을 구현한다.
• 유연한 LLM 인터페이스를 통해 공개 및 비공개/로컬 LLM 모두를 지원함으로써 배포의 유연성을 향상시킨다.
• 게임 디자이너가 제시한 고수준 설계 기준을 기반으로 LLM을 활용해 절차적 게임 콘텐츠(설정, 아이템, NPC 등)를 생성한다.

실험 결과

연구 질문

• RQ1 자유형 입력을 받는 상황에서 LLM이 전략적 턴제 RPG에서 서사 일관성 있는 대화와 콘텐츠를 생성할 수 있는가?
• RQ2 서버 기반 메모리 시스템이 동적 플레이어 상호작용 간 서사 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 성격 기반 NPC는 절차적 게임 세계에서 몰입감과 서사 일관성을 얼마나 향상시키는가?
• RQ4 LLM 기반 검증 시스템은 서사에서 벗어나거나 관련 없는 응답을 얼마나 줄이는가?
• RQ5 표준화된 API를 통해 PANGeA는 다양한 게임 엔진에 효과적으로 통합될 수 있는가?

주요 결과

• PANGeA는 플레이어가 예측 불가능한 자유형 텍스트 입력을 제공하더라도 서사 일관성을 효과적으로 유지한다.
• 서버 기반 메모리 시스템의 통합은 LLM 기반 응답의 맥락 적합성과 연속성에 크게 기여한다.
• 성격 기반 NPC는 변화하는 서사와 일치하는 더 몰입감 있고 일관성 있는 대화를 생성한다.
• LLM 기반 검증 시스템은 실시간으로 출력을 필터링하고 재평가함으로써 서사에서 벗어나거나 관련 없는 응답을 줄인다.
• 웹 기반 GPT 데모와 유니티 기반 데모를 대상으로 한 실증 평가를 통해 PANGeA가 일관성 있고 동적 서사를 효과적으로 생성한다는 것이 확인되었다.
• REST 및 LLM 인터페이스 설계 덕분에 PANGeA는 공개 및 비공개 LLM 모두와의 호환성과 확장성을 입증했다.