[논문 리뷰] Bringing Stories Alive: Generating Interactive Fiction Worlds

Prithviraj Ammanabrolu, Wesley Cheung외 3명|arXiv (Cornell University)|2020. 01. 28.

Artificial Intelligence in Games인용 수 6

한 줄 요약

이 논문은 스토리 플롯에서 지식 그래프를 추출하고 보완하여 상호작용 가능한 소설 세계를 생성하는 신경망 기반 방법인 AskBERT를 제안한다. 주제적 지식과 일반 지각 지식을 활용해 세계를 구성하고, 일관성 있고 매력적이며 주제적으로 일관된 가상 세계를 생성하도록 텍스트 생성을 이끌어낸다. 인간 평가 결과, 특히 일상적인 공통 지각과 다를 수 있는 판타지 장르에서 주제적 지식이 중요한 영향을 미치는 상황에서 신경망 모델이 규칙 기반 및 무작위 기반 베이스라인을 능가하는 일관성과 흥미로움을 보였다.

ABSTRACT

World building forms the foundation of any task that requires narrative intelligence. In this work, we focus on procedurally generating interactive fiction worlds---text-based worlds that players "see" and "talk to" using natural language. Generating these worlds requires referencing everyday and thematic commonsense priors in addition to being semantically consistent, interesting, and coherent throughout. Using existing story plots as inspiration, we present a method that first extracts a partial knowledge graph encoding basic information regarding world structure such as locations and objects. This knowledge graph is then automatically completed utilizing thematic knowledge and used to guide a neural language generation model that fleshes out the rest of the world. We perform human participant-based evaluations, testing our neural model's ability to extract and fill-in a knowledge graph and to generate language conditioned on it against rule-based and human-made baselines. Our code is available at https://github.com/rajammanabrolu/WorldGeneration.

연구 동기 및 목표

• 자연어를 사용하여 의미적으로 일관되고 일관되며 주제적으로 적절한 상호작용 가능한 소설 세계를 정규적으로 생성하는 데 도전하는 것.
• 주제적 지식과 일상적인 일반 지각 지식을 통합하여 세계 생성에 활용함으로써 플레이어의 몰입도와 서사의 타당성을 향상시키는 것.
• 규칙 기반 및 무작위 기반 베이스라인을 능가하는 매력적이고 일관되며 장르에 맞는 상호작용 가능한 소설 게임을 생성하는 신경망 모델을 개발하는 것.
• 인간 참가자 연구를 통해 주제적 일반 지각이 상호작용 가능한 소설 세계의 인지된 일관성과 흥미로움에 미치는 영향을 평가하는 것.

제안 방법

• Open Information Extraction (OpenIE5)를 사용하여 스토리 플롯에서 부분 지식 그래프를 추출하여 실체와 관계를 <실체, 관계, 실체> 삼중항 형태로 캡처한다.
• AskBERT, 즉 장르별 스토리에 대해 미세조정된 BERT 모델을 사용하여 주제적 일반 지각 기반으로 누락된 관계와 가능성을 추론함으로써 지식 그래프를 보완한다.
• 완성된 지식 그래프를 구조적 기초로 삼아, 장소, 캐릭터, 물체를 기술하는 신경망 텍스트 생성 모델을 조정한다.
• 이동 및 행동 시스템을 포함한 게임 메커니즘과 함께 생성된 기술을 통합하여 최종 상호작용 가능한 소설 게임을 구성한다.
• 일관성, 흥미로움, 장르 준수 정도를 평가하기 위해 인간 평가를 통해 신경망 모델을 규칙 기반 및 무작위 기반 베이스라인과 대비하여 훈련하고 평가한다.
• 두 가지 인간 참가자 연구를 수행한다: 하나는 지식 그래프 보완에 대한 연구이고, 다른 하나는 전체 게임 평가에 대한 연구이며, 상대적 순위 평가와 통계적 검정(Mann-Whitney U)을 사용하여 유의미성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 스토리 플롯에서 지식 그래프를 효과적으로 추출하고 보완하여 상호작용 가능한 소설 세계 생성을 지원할 수 있는가?
• RQ2 주제적 일반 지각 지식의 통합이 생성된 상호작용 가능한 소설 세계의 일관성과 흥미로움에 어떤 영향을 미치는가?
• RQ3 신경망 모델이 인간 평가에서 세계 품질에 대해 규칙 기반 및 무작위 기반 베이스라인을 얼마나 능가하는가?
• RQ4 주제적 일반 지각이 일상적인 일반 지각과 다를 경우, 특히 판타지 장르에서 신경망 모델의 성능이 장르에 따라 달라지는가?
• RQ5 신경망 기반, 규칙 기반, 인간이 제작한 상호작용 가능한 소설 게임 간에 인지된 일관성, 흥미로움, 장르 준수 정도에 유의미한 차이가 있는가?

주요 결과

• 범죄 장르에서는 참가자의 72%가 흥미로움 측면에서 신경망 모델을 규칙 기반 모델보다 선호했고, 69%가 장르 유사성 측면에서 선호했으며, 통계적으로 유의미한 차이(p < 0.05)를 보였다.
• 범죄 장르에서 규칙 기반 모델이 인지된 일관성 측면에서 신경망 모델을 앞섰다(45% 대 36%), 이는 규칙 기반 시스템이 평범하고 현실적인 설정을 더 잘 처리할 수 있음을 시사한다.
• 화려한 이야기 장르에서는 신경망 모델이 규칙 기반 모델 및 무작위 모델 모두를 흥미로움 측면에서 유의미하게 뛰어넘었으며(42% 대 37% 및 42% 대 42%), 일관성 측면에서도 동일한 결과를 보였다(25% 대 25% 및 25% 대 25%), 통계적 유의성 존재.
• 인간이 제작한 게임은 두 장르에서 모두 최고의 평가를 받았으며, 특히 장르 유사성 측면에서 높은 점수를 기록했다(범죄 장르 75%, 화려한 이야기 장르 69%), 이는 높은 품질 기준을 의미한다.
• 화려한 이야기 장르에서 신경망 모델은 인간이 제작한 게임과 유사한 일관성을 보였다(45% 대 45%), 이는 주제적으로 다를 수 있는 설정에서 강력한 성능을 보임을 시사한다.
• 결과는 주제적 일반 지각 지식이 특히 일상적인 일반 지각과 다를 경우, 즉 판타지 장르에서 더 높은 성능을 보이는 것으로 나타나, 매력적이고 일관된 세계를 생성하는 데 핵심적인 역할을 한다는 것을 시사한다.