[論文レビュー] PlotMachines: Outline-Conditioned Generation with Dynamic Plot State Tracking
PlotMachines は outline-conditioned 物語生成を動的プロット状態メモリと談話構造と共に提示し、GPT-2 や Grover のような強力なベースラインに比べて複数データセットで一貫性とアウトライン適合性の向上を示す。
We propose the task of outline-conditioned story generation: given an outline as a set of phrases that describe key characters and events to appear in a story, the task is to generate a coherent narrative that is consistent with the provided outline. This task is challenging as the input only provides a rough sketch of the plot, and thus, models need to generate a story by interweaving the key points provided in the outline. This requires the model to keep track of the dynamic states of the latent plot, conditioning on the input outline while generating the full story. We present PlotMachines, a neural narrative model that learns to transform an outline into a coherent story by tracking the dynamic plot states. In addition, we enrich PlotMachines with high-level discourse structure so that the model can learn different writing styles corresponding to different parts of the narrative. Comprehensive experiments over three fiction and non-fiction datasets demonstrate that large-scale language models, such as GPT-2 and Grover, despite their impressive generation performance, are not sufficient in generating coherent narratives for the given outline, and dynamic plot state tracking is important for composing narratives with tighter, more consistent plots.
研究の動機と目的
- アウトラインを条件にした物語生成のタスクを定義し、動的プロット状態追跡の必要性を動機づける。
- Outline から複数パラグラフの物語を生成するメモリ拡張トランスフォーマー PlotMachines を開発する。
- 高レベルの談話構造を組み込み、異なる物語パート（始まり・中盤・結末）の文体を学習する。
- 自動的に構築されたアウトラインと多パラグラフの物語を組み合わせた3つのデータセットを作成・公開する。
- 大規模事前学習モデルの限界を示し、動的プロット状態追跡の利点をベースラインと比較して示す。
提案手法
- アウトラインを専用の点デリミタと終端トークンを持つトークン列として表現し、各段落の生成をこのアウトラインで条件付けする。
- K（アウトライン点追跡）と D（潜在文書状態）の2成分からなるメモリ行列を維持し、段落間でプロット状態を追跡する。
- 前の段落表現 h^{i-1} を用いて M^{i} を洗練させるゲートによって、各段落の後にメモリを更新する。
- Transformer ブロックを、メモリ上のアテンションを行いつつ通常の自己注意も行う追加のメモリ注意経路を含むよう変更し、出力を平均化する。
- 入力に談話タグ（ beginning, body, end ）を組み込み、物語セクション間の文体差を学習する。
- 訓練中は各段落を予測する交差エントロピー損失でエンドツーエンドに訓練し、訓練時には金標本の前段落を用いてメモリを更新し、デコード時には設定済みの5段落構造を使用する。
実験結果
リサーチクエスチョン
- RQ1アウトライン条件付き生成モデルは、与えられたアウトラインに従ったコヒーレントな長文物語を生成できるか。
- RQ2動的プロット状態追跡は、非メモリ型のベースラインと比較して一貫性とアウトライン適合性を改善するか。
- RQ3談話レベルの構造が、異なる物語部分の文体学習に及ぼす影響は何か。
- RQ4Mem-Augmented モデルは、アウトライン条件付き生成において大規模事前学習モデル（例：GPT、GPT-2、Grover）より有効か。
主な発見
| モデル | Wikiplots AvgL | Wikiplots B-2 | Wikiplots B-3 | Wikiplots B-4 | Wikiplots B-5 | WritingPrompts AvgL | WritingPrompts B-2 | WritingPrompts B-3 | WritingPrompts B-4 | WritingPrompts B-5 | NYTimes AvgL | NYTimes B-2 | NYTimes B-3 | NYTimes B-4 | NYTimes B-5 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gold Test | 330 | .74 | .50 | .29 | .15 | 661 | .82 | .61 | .40 | .25 | 315 | .73 | .50 | .32 | .21 |
| P&W-Static | 352 | .93 | .85 | .75 | .64 | 675 | .97 | .94 | .89 | .85 | 352 | .93 | .85 | .74 | .63 |
| Fusion | 191 | .84 | .71 | .58 | .48 | 197 | .93 | .85 | .75 | .65 | 171 | .89 | .80 | .70 | .60 |
| Grover | 835 | .72 | .49 | .48 | .37 | 997 | .88 | .72 | .52 | .34 | 719 | .79 | .57 | .38 | .25 |
| GPT | 909 | .77 | .47 | .25 | .11 | 799 | .73 | .40 | .19 | .08 | 739 | .68 | .36 | .27 | .08 |
| GPT-2 | 910 | .60 | .26 | .10 | .03 | 799 | .74 | .41 | .19 | .08 | 756 | .69 | .36 | .17 | .08 |
| PlotMachines (GPT) | 682 | .77 | .58 | .40 | .27 | 850 | .89 | .81 | .72 | .63 | 537 | .85 | .69 | .53 | .40 |
| PlotMachines (GPT-2) | 553 | .56 | .19 | .07 | .02 | 799 | .83 | .56 | .30 | .14 | 455 | .79 | .57 | .37 | .23 |
| PM-NoMem (GPT-2) | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
| PM-NoMem-NoDisc (GPT-2) | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
| base (GPT-2) | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
- PlotMachines は Wikiplots、WritingPrompts、NYTimes のデータセット全体でベースラインと比較して ROUGE スコアが同等かそれ以上を達成する。
- PlotMachines（GPT-2 ベース）は、3つのデータセット全ての指標で Grover より ROUGE が高い。
- メモリと談話構成要素は有益であり、メモリまたは談話を削除したアブレーションは性能を低下させる。
- 人間評価は、アウトラインの活用、物語の流れ、全体的な順序性の面で PlotMachines が GPT および Fusion より優れていると示す。
- PlotMachines は、ベースラインと比較して自己 BLEU が低く、多様性が向上しつつコヒーレンスとアウトライン適合性を維持する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。