[論文レビュー] Content Planning for Neural Story Generation with Aristotelian Rescoring

Seraphina Goldfarb-Tarrant, Tuhin Chakrabarty+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、『ポエティカ』に由来するアリストテレス的原則を統合した神経物語生成のためのコンテンツ計画フレームワークを提案する。ナイーブなプロットを、プロットの整合性、クライマックス、登場人物の関連性といった基準で精錬することで、原理的な計画なしのベースライン手法よりも著しく関連性が高く、質の高い物語を生成する。

ABSTRACT

Long-form narrative text generated from large language models manages a fluent impersonation of human writing, but only at the local sentence level, and lacks structure or global cohesion. We posit that many of the problems of story generation can be addressed via high-quality content planning, and present a system that focuses on how to learn good plot structures to guide story generation. We utilize a plot-generation language model along with an ensemble of rescoring models that each implement an aspect of good story-writing as detailed in Aristotle's Poetics. We find that stories written with our more principled plot-structure are both more relevant to a given prompt and higher quality than baselines that do not content plan, or that plan in an unprincipled way.

研究の動機と目的

• 神経的物語生成におけるグローバルな整合性と構造的質の欠如に起因する、流暢な文レベルの出力にもかかわらず、整合性のない、またはトピックから逸れた物語が生じる問題に対処すること。
• アリストテレスの物語的原則、特に出来事の配置、登場人物の関連性、プロットのクライマックスを組み込むことで、物語の質と関連性が向上するかどうかを調査すること。
• アリストテレス的基準に基づいて複数の識別器を訓練したプロット生成言語モデルを強化することで、表面的実現の前にプロットを精錬するコンテンツ計画システムを開発すること。
• 原理的なプロット計画が、ナイーブまたは非構造的な計画手法と比較して、より整合的で関連性が高く、質の高い物語を生み出すかどうかを評価すること。

提案手法

• システムは、イベントを動詞と目的語で表すための意味的役割ラベル付け（SRL）を用いて、与えられたプロンプトから初期のナイーブなプロットを生成する、系列対系列のプロット生成モデルを用いる。
• 初期プロットに、アリストテレスの『ポエティカ』で定義された物語の良し悪しの1つの側面を検出するように訓練された、複数の識別的再スコアリングモデルのアンサンブルを適用する：プロット構造、クライマックス、登場人物の関連性、物語的結束性。
• 各再スコアリングモデルは、人間がアノテートした肯定的・否定的プロットペアから構築された訓練データを用いて、微調整されたBARTベースアーキテクチャで動作する。
• 再スコアリングプロセスにより、整合性が高く、構造的に優れたプロットがランク付け・選択され、その後、大規模言語モデルに供給されて自然言語の物語に表面的実現される。
• 最終的な物語は、精錬されたプロットを条件として事前学習済み言語モデルに与えることで生成され、物語的内容が計画された構造と一致することを保証する。
• 最終的な物語におけるプロット語および動詞の組み込み率を測定し、プロットが表面テキストにどの程度影響を与えているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 アリストテレスの『ポエティカ』に基づく原理的なコンテンツ計画は、神経的物語生成の構造的質と関連性を向上させることができるか？
• RQ2 ナイーブまたは非構造的なプロット生成と比較して、アリストテレス的再スコアリングは物語の整合性と質においてどの程度優れているか？
• RQ3 語彙および動詞の組み込み率を指標として、精錬されたプロットが最終的な物語生成にどの程度影響を与えているか、その程度はいかほどか？
• RQ4 各々が別個の物語的原則を対象とする複数の識別的再スコアリングモデルを組み合わせることで、単一のモデルよりも効果的にプロットの質を向上させることができるか？

主な発見

• アリストテレス的再スコアリングを用いたプロットで生成された物語は、ナイーブプロットや直接的プロンプト生成による物語と比較して、入力プロンプトに対する関連性が著しく高く、全体的な質も向上している。
• システムは語彙組み込み率72.4%、動詞組み込み率72.0%を達成しており、精錬されたプロットと最終的な物語との間の強い整合性を示しているが、理論上の上限にはまだ届いていない。
• 各々が別個のアリストテレス的原則を対象とするアンサンブル再スコアリングモデルの使用により、ベースライン手法と比較して、より整合性があり、よりよく構造化され、物語的に説得力のあるプロットが得られている。
• 改訂されたプロットは、質的分析および人間評価を通じて、より一貫性があり、主題的に整合性のある物語を生み出す。ゴールスタンダード物語は、より滑らかな物語の流れと感情的な共鳴を示している。
• 結果から、原理的な物語的制約を伴うコンテンツ計画は、大規模言語モデルがより質の高い、より構造的な物語を生成するのを効果的に導くことができると示唆される。