[논문 리뷰] Plan-And-Write: Towards Better Automatic Storytelling

Lili Yao, Nanyun Peng외 4명|arXiv (Cornell University)|2018. 11. 14.

Artificial Intelligence in Games참고 문헌 34인용 수 46

한 줄 요약

논문은 제목에서 오픈 도메인 이야기 생성을 위한 plan-and-write 프레임워크를 소개하며, 동적 및 고정 이야기선 계획 전략을 사용해 다양성, 일관성 및 주제 관련성을 향상시킨다.

ABSTRACT

Automatic storytelling is challenging since it requires generating long, coherent natural language to describes a sensible sequence of events. Despite considerable efforts on automatic story generation in the past, prior work either is restricted in plot planning, or can only generate stories in a narrow domain. In this paper, we explore open-domain story generation that writes stories given a title (topic) as input. We propose a plan-and-write hierarchical generation framework that first plans a storyline, and then generates a story based on the storyline. We compare two planning strategies. The dynamic schema interweaves story planning and its surface realization in text, while the static schema plans out the entire storyline before generating stories. Experiments show that with explicit storyline planning, the generated stories are more diverse, coherent, and on topic than those generated without creating a full plan, according to both automatic and human evaluations.

연구 동기 및 목표

• AI를 위한 테스트베드로서 자동 스토리텔링을 동기 부여하여 제목에서 길고 일관된 이야기를 생성하는 것을 목표로 한다.
• 품질향상을 위한 두 단계 프레임워크: 이야기선 기획과 표면 구현을 제안한다.
• 두 가지 계획 전략(동적 및 고정)을 탐색하고 비교한다.
• 추가 인간 주석 없이도 자동으로 추출된 이야기선을 활용해 플래너를 학습시킨다.
• 자동 평가와 인간 평가를 통해 다양성, 일관성 및 주제 관련성을 평가한다.

제안 방법

• 이야기선을 이야기들에서 추출된 단어의 정렬된 시퀀스로 표현하여 플롯 기획 모델을 훈련한다.
• 두 가지 plan-and-write 스키마를 구현한다: 동적(점진적 기획 및 글쓰기)과 고정(먼저 전체 이야기선 계획).
• 맥락 인코더(BiGRU)와 주의 기반 디코더를 사용해 이야기선과 이야기 생성을 위한 내용 도입 생성(content-introducing generation).
• 고정 스키마의 경우 제목에서 이야기선을 생성하기 위해 주의(attention) Seq2Seq를 사용하고, 그다음 제목과 계획된 이야기선을 조건으로 이야기를 생성한다.
• 생성 중 반복되는 이야기선 단어를 금지해 중복성을 줄이는 반복 억제(repetition suppression)를 적용한다.
• 자동 다양성 지표(인터-스토리 반복 및 인트라-스토리 반복)와 인간 판단으로 평가한다.

실험 결과

연구 질문

• RQ1 명시적 이야기선 계획이 계획 없이 baselines와 비교해 다양성, 일관성 및 주제 관련성을 향상시키는가?
• RQ2 동적 계획과 고정 계획 중 어떤 것이 더 일관되고 주제에 맞는 이야기를 생성하는가?
• RQ3 계획 및 작성 스토리텔링에서 자동 다양성 지표가 인간 판단과 어떤 상관관계를 보이는가?

주요 결과

충실도	일관성	흥미로움	전반적 인기	카파
35.8	37.2	43.5	42.9	0.42
38.5	39.4	39.5	40.9	0.42
21.47	28.27	34.40	30.07	0.30

• Plan-and-write 방법은 계획 없이의 기준선보다 더 다양하고 일관된 이야기를 산출한다.
• Static schema는 충실도, 일관성, 흥미로움 및 전반적인 선호도 면에서 일반적으로 동적 스키마를 능가한다.
• Dynamic schema는 이야기 간 반복을 감소시키지만 기준선에 비해 최종 문장 반복을 증가시킬 수 있다.
• Static schema는 이야기선 품질(BLEU)과 이야기 품질(l–s 점수) 간의 상관관계가 더 높다.
• 인간 평가자는 충실도, 일관성, 그리고 흥미로움 측면에서 계획-작성 스토리가 기준선보다 우수하다고 평가했으며, 특히 일관성과 흥미로움이 중요한 영향을 미쳤다.