[논문 리뷰] Toward Automated Quest Generation in Text-Adventure Games

Prithviraj Ammanabrolu, William Broniec외 3명|arXiv (Cornell University)|2019. 09. 13.

Artificial Intelligence in Games참고 문헌 29인용 수 8

한 줄 요약

이 논문은 조리 도메인의 텍스트 기반 어드벤처 게임에서 일관되고 창의적인 퀘스트를 자동으로 생성하기 위한 프레임워크를 제시한다. 마르코프 모델과 지식 그래프에 기반한 신경 언어 모델을 사용한다. 인간 평가 결과, 두 생성 모델 모두 인간이 설계한 퀘스트와 유사한 일관성과 창의성 수준을 보였으며, 신경 모델은 일관성과 가치 측면에서 뛰어났고, 마르코프 모델은 놀라움과 독창성 측면에서 높은 점수를 기록했다.

ABSTRACT

Interactive fictions, or text-adventures, are games in which a player interacts with a world entirely through textual descriptions and text actions. Text-adventure games are typically structured as puzzles or quests wherein the player must execute certain actions in a certain order to succeed. In this paper, we consider the problem of procedurally generating a quest, defined as a series of actions required to progress towards a goal, in a text-adventure game. Quest generation in text environments is challenging because they must be semantically coherent. We present and evaluate two quest generation techniques: (1) a Markov model, and (2) a neural generative model. We specifically look at generating quests about cooking and train our models on recipe data. We evaluate our techniques with human participant studies looking at perceived creativity and coherence.

연구 동기 및 목표

• 텍스트 어드벤처 게임에서 조리와 같은 제한된 도메인 내에서 의미적으로 일관되고 창의적으로 매력적인 퀘스트를 생성하는 데 도전하는 것.
• 자동 생성 기법이 인간이 설계한 퀘스트 수준의 일관성과 창의성에 도달하는 퀘스트를 생성할 수 있는지 탐구하는 것.
• 지식 그래프를 통한 의미적 기반 설정이 복잡한 다단계 서사 구조에서의 퀘스트 품질, 특히 일관성 유지에 미치는 영향을 평가하는 것.
• 정형화된 상호작용 소설에서 창의성, 일관성, 인식된 가치 사이의 상호 상충 관계를 탐구하는 것.

제안 방법

• 프레임워크는 요리 데이터에서 유도된 재료, 동작, 위치 간의 관계를 인코딩함으로써 퀘스트 생성을 의미적으로 기반화하는 지식 그래프를 사용한다.
• 두 가지 생성 모델을 구현한다: 순차적 생성을 위한 마르코프 체인 모델과 더 유연하고 맥락 인식 능력이 뛰어난 신경 언어 모델(LM).
• 텍스트 월드 프레임워크를 사용하여 '집' 테마를 기반으로 한 환경을 시뮬레이션하며, 방, 물체, 물체의 위치를 포함한다.
• 모델들은 요리 작업의 구조와 의미를 학습하기 위해 대규모 요리 데이터셋으로 훈련되며, 재료 의존성과 절차적 단계를 포함한다.
• 지식 그래프는 생성된 퀘스트가 물체의 기능과 논리적 의존성(예: 계란을 깨기 전에 회수해야 함)과 같은 세계의 제약 조건을 준수하도록 보장한다.
• 인간 평가는 플레이어가 생성된 퀘스트를 일관성, 독창성, 놀라움, 성취감 기준으로 평가하는 제어된 실험을 통해 수행된다.

실험 결과

연구 질문

• RQ1 마르코프 모델과 신경 언어 모델이 텍스트 어드벤처 게임에서 인간 플레이어가 인식하는 바와 같이 일관되고 창의적인 요리 퀘스트를 생성할 수 있는가?
• RQ2 지식 그래프를 통한 의미적 기반 설정이 자동 생성 퀘스트의 일관성과 품질에 어떤 영향을 미치는가?
• RQ3 자동 생성 퀘스트가 인간이 설계한 퀘스트와 비교해 인식된 창의성과 일관성 측면에서 유사한 성능을 보이는가?
• RQ4 정형화된 상호작용 소설에서 일관성과 인식된 창의성 간의 관계는 어떠한가? 일관성이 떨어지면 더 높은 놀라움이 인식되는가?
• RQ5 퀘스트 복잡도(1개 방 대비 5개 방)와 모델 유형이 인식된 놀라움과 성취감에 어떤 영향을 미치는가?

주요 결과

• 모든 생성 모델—마르코프 체인, 신경 언어 모델, 인간이 설계한 퀘스트—모두 유의미한 일관성 점수(p < 0.05)를 확보했으며, 특히 신경 언어 모델이 마르코프 모델보다 뛰어난 성능을 보였다.
• 신경 언어 모델은 인간이 설계한 게임을 초월해 가장 높은 인식된 가치와 성취감 점수를 기록했으며, 이는 더 다양한 행동 선택과 정의된 행동 그래프에 의한 제약이 적기 때문으로 보인다.
• 마르코프 체인 모델은 신경 모델보다 더 높은 놀라움과 독창성 점수를 받았으며, 이는 일관성과 새로운 느낌 사이의 상충 관계를 시사한다.
• 지식 그래프의 도입은 일관성을 크게 향상시켜, 복잡한 다중 방 환경에서도 의미적으로 기반화되고 논리적으로 일관된 퀘스트 생성을 보장했다.
• 5개 방 퀘스트는 1개 방 퀘스트보다 더 놀라움과 독창성이 높게 평가되었으며, 이는 복잡성이 인식된 새로운 느낌을 증가시킨다는 것을 시사한다.
• 무작위로 생성된 퀘스트(RA)는 일부 새로운 느낌을 지녔지만, 일관성이 떨어지고 창의성이 떨어지게 평가되었으며, 이는 일관성이 인식된 창의성의 전제 조건임을 확인한다.