[논문 리뷰] Inferring the Reader: Guiding Automated Story Generation with Commonsense Reasoning

Xiangyu Peng, Siyan Li외 2명|arXiv (Cornell University)|2021. 05. 04.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 신경 스토리 생성에 공리적 추론을 통합하여 스토리의 일관성을 향상시키는 프레임워크인 공리적 추론을 통합한 신경 스토리텔링(CAST)을 제안한다. CAST는 생성된 문장들로부터 캐릭터의 목표, 감정, 의도를 COMET2020를 사용해 추론하고, 이를 바탕으로 유추된 독자 정서 모델과 일치하는 연속 문장들만 필터링함으로써, 단일 및 이중 캐릭터 환경 모두에서 강력한 기준 모델들보다 유의미하게 더 일관성 있고 주제에 부합하며 유창하고 즐거운 스토리를 생성한다.

ABSTRACT

Transformer-based language model approaches to automated story generation currently provide state-of-the-art results. However, they still suffer from plot incoherence when generating narratives over time, and critically lack basic commonsense reasoning. Furthermore, existing methods generally focus only on single-character stories, or fail to track characters at all. To improve the coherence of generated narratives and to expand the scope of character-centric narrative generation, we introduce Commonsense-inference Augmented neural StoryTelling (CAST), a framework for introducing commonsense reasoning into the generation process with the option to model the interaction between multiple characters. We find that our CAST method produces significantly more coherent, on-topic, enjoyable and fluent stories than existing models in both the single-character and two-character settings in three storytelling domains.

연구 동기 및 목표

• 신경 스토리 생성 모델에서 공리적 추론과 플롯의 일관성이 부족한 문제를 해결하기 위해.
• 목표 계층과 캐릭터 의도를 모델링하여 다수의 캐릭터를 중심으로 일관성 있는 스토리텔링을 가능하게 하기 위해.
• 신경 언어 모델 생성과 인간 독자 이해 간 격차를 해소하기 위해 독자 정서 모델을 시뮬레이션함으로써.
• 논리적이고 목표 중심의 스토리 진행을 강제함으로써 서사의 자연스러움과 즐거움을 향상시키기 위해.
• 최소한의 아키텍처 변경으로도 단일 및 다중 캐릭터 스토리 생성을 지원하는 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 시스템은 프롬프트와 지정된 주요 캐릭터로 시작하여, 사전 훈련된 언어 모델을 사용해 후속 문장을 후보로 생성한다.
• 각 후보 문장에 대해 COMET2020가 네 가지 공리적 차원을 추론한다: 캐릭터의 목표, 감정, 의도, 잠재적 결과.
• 후보 문장은 이전 문장과 유사도가 충분히 높은 일관성 기반 매칭 메커니즘을 통해 유추된 속성과 일치할 경우에만 수락된다.
• 수락된 연속 문장은 새로운 프롬프트가 되며, 원하는 길이의 스토리가 생성될 때까지 이 과정을 반복한다.
• 인터리브드 생성과 동적 캐릭터 전환을 통해 단일 캐릭터 및 이중 캐릭터 서사 모두를 지원한다.
• 이 방법은 국소적인 마르코프 가정에 기반하며, 현재 이벤트와 바로 이전 이벤트만 비교하지만, 전반적인 일관성을 효과적으로 유지한다.

실험 결과

연구 질문

• RQ1 공리적 추론은 가능성 기반 생성을 넘어서 신경 스토리 생성의 일관성과 유창성 향상에 기여할 수 있는가?
• RQ2 다중 캐릭터 서사에서 캐릭터의 목표와 의도를 모델링하면 스토리 품질에 어떤 영향을 미치는가?
• RQ3 독자 정서 모델 추론 기반의 필터링 메커니즘이 스토리 생성에서 기준 모델을 능가할 수 있는가?
• RQ4 장기간의 시퀀스 동안 시스템은 주제 관련성과 서사 일관성을 어느 정도 유지하는가?
• RQ5 COMET2020 추론의 통합이 스토리의 즐거움과 논리적 진행에 어떤 영향을 미치는가?

주요 결과

• CAST는 C2PO 및 Goldfarb-Tarrant 등과 같은 강력한 기준 모델들보다 세 가지 스토리텔링 도메인 전반에서 스토리 일관성, 유창성, 주제 관련성에서 뚜렷한 우월성을 보였다.
• 공리적 추론을 통한 유추된 독자 정서 모델과의 일치를 강제함으로써, 더 즐겁고 논리적으로 일관된 스토리를 생성하였다.
• 단일 및 이중 캐릭터 스토리 생성 모두에서 인간 평가 지표인 일관성, 주제 관련성, 유창성에서 높은 점수를 기록하였다.
• 국소적이고 마르코프 기반의 비교 전략임에도 불구하고, 전반적인 서사 일관성을 효과적으로 유지함을 입증하였다.
• C2PO보다 더 다양한 스토리를 생성하였는데, 이는 COMET2020를 문장 생성이 아닌 필터링에만 사용하기 때문이다.
• CAST의 성능은 COMET2020의 공리적 추론 품질에 직접적으로 연관되어 있어, 향후 추론 모델의 향상으로 더 큰 성과를 기대할 수 있다.