[논문 리뷰] Content Planning for Neural Story Generation with Aristotelian Rescoring

Seraphina Goldfarb-Tarrant, Tuhin Chakrabarty외 2명|arXiv (Cornell University)|2020. 09. 21.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 신경망 기반 스토리 생성을 위한 콘텐츠 기획 프레임워크를 제안하며, '시학'에서 제시한 아리스토텔레스 철학 원리를 앙상블 재순서 모델을 사용한 플롯 생성 파이프라인에 통합한다. 낙관적 플롯을 플롯의 일관성, 정점, 캐릭터 관련성 등의 기준으로 보완함으로써, 원칙적인 기획 없이 생성된 기준선 방법에 비해 훨씬 더 관련성 있고 품질이 높은 스토리를 생성한다.

ABSTRACT

Long-form narrative text generated from large language models manages a fluent impersonation of human writing, but only at the local sentence level, and lacks structure or global cohesion. We posit that many of the problems of story generation can be addressed via high-quality content planning, and present a system that focuses on how to learn good plot structures to guide story generation. We utilize a plot-generation language model along with an ensemble of rescoring models that each implement an aspect of good story-writing as detailed in Aristotle's Poetics. We find that stories written with our more principled plot-structure are both more relevant to a given prompt and higher quality than baselines that do not content plan, or that plan in an unprincipled way.

연구 동기 및 목표

• 신경망 기반 스토리 생성에서 전반적인 일관성과 구조적 품질의 부족을 해결하기 위해, 문장 수준의 유창성에는 불구하고 타깃에서 벗어나거나 일관성 없는 내역을 유도하는 경우가 많기 때문이다.
• 아리스토텔레스의 서사 원칙—특히 사건 배열, 캐릭터 관련성, 플롯 정점—을 통합함으로써 스토리 품질과 관련성 향상 여부를 조사하기 위해.
• 아리스토텔레스 원칙에 기반한 다수의 판별기 모델을 훈련시켜 플롯 생성 언어 모델을 개선함으로써, 표면적 실현 이전에 플롯을 보완하는 콘텐츠 기획 시스템을 개발하기 위해.
• 원칙적인 플롯 기획이 난잡하거나 비정형적인 기획 방법에 비해 더 일관성 있고 관련성 있으며 품질이 높은 스토리를 생성하는지 평가하기 위해.

제안 방법

• 시스템은 주어진 프롬프트에서 의미역 레이블링(SRL)을 사용하여 동사와 목적어로 사건을 표현함으로써, 순서 기반 플롯 생성 모델을 사용해 초도적인 낙관적 플롯을 생성한다.
• 초기 플롯에 다수의 판별적 재순서 모델을 적용하며, 각 모델은 아리스토텔레스의 '시학'에서 정의된 좋은 서사의 한 요소를 탐지하도록 훈련된다: 플롯 구조, 정점, 캐릭터 관련성, 서사 유창성.
• 각 재순서 모델은 인간이 애너테이션한 양/음성 플롯 쌍으로 구성된 훈련 데이터를 사용하여 미세조정된 BART 기반 아키텍처를 사용해 후보 플롯을 평가한다.
• 재순서 과정은 일관성 있고 구조적으로 탄탄한 플롯을 순위 매기고 선택하며, 이는 이후 자연어 스토리로의 표면 실현을 위한 입력으로 사용된다.
• 최종 스토리는 정제된 플롯을 조건으로 삼는 사전 훈련된 언어 모델을 통해 생성되며, 서사적 내용이 계획된 구조와 일치하도록 보장된다.
• 최종 스토리에서 플롯 단어와 동사의 통합 비율을 측정하여 플롯이 표면 텍스트에 얼마나 잘 영향을 미치는지 평가한다.

실험 결과

연구 질문

• RQ1 아리스토텔레스의 '시학'에 기반한 원칙적인 콘텐츠 기획은 신경망 기반 스토리 생성의 구조적 품질과 관련성 향상에 기여하는가?
• RQ2 아리스토텔레스 기반 재순서 기법은 난잡하거나 비정형적인 플롯 생성 방식에 비해 스토리의 일관성과 품질 측면에서 어떻게 비교되는가?
• RQ3 어느 정도로 정제된 플롯이 최종 스토리 생성에 영향을 미치는가? 단어와 동사의 통합 비율로 측정한 결과로서.
• RQ4 각각 다른 서사 원칙을 타깃으로 삼는 다수의 판별적 재순서 모델이 단일 모델보다 더 효과적으로 플롯 품질을 향상시킬 수 있는가?

주요 결과

• 아리스토텔레스 기반 재순서 플롯을 사용해 생성된 스토리는 난잡한 플롯이나 직접적인 프롬프트 생성 방식에 비해 입력 프롬프트와의 관련성과 전반적인 품질이 유의미하게 높다.
• 시스템은 단어 통합 비율 72.4%와 동사 통합 비율 72.0%를 기록하여, 정제된 플롯과 최종 스토리 간의 강한 일치를 보여주지만, 여전히 이론적 최상한 경계 이하에 머무른다.
• 각각 다른 아리스토텔레스 원칙을 타깃으로 삼는 앙상블 재순서 모델의 사용은 기준선 방법에 비해 더 일관성 있고 더 잘 구성된, 더 서사적으로 매력적인 플롯을 생성한다.
• 개선된 플롯은 정성적 분석과 인간 평가를 통해 더 유창하고 주제적으로 일관된 스토리를 이끌어내며, 황금 표준 스토리는 뛰어난 서사 흐름과 감정적 공명을 보여준다.
• 결과적으로 원칙적인 서사 제약 조건을 갖춘 콘텐츠 기획은 대규모 언어 모델이 더 높은 품질의, 더 잘 구성된 서사를 생성하도록 효과적으로 이끌 수 있음을 시사한다.