[論文レビュー] Consistency and Coherency Enhanced Story Generation

Wei Wang, Piji Li+1 more|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

本稿では、物語の構造的アウトラインを事前に作成し、その後にそれを完全な物語に拡張することで、一貫性と整合性を向上させる二段階型物語生成フレームワークを提案する。コアフレンスの監視とディコース関係分類ヘッドを組み込むことで、コアフレンスの誤りを著しく低減し、文レベルの整合性を向上させ、自動評価指標および人間評価においてGPT2ベースのベースラインを上回る性能を発揮する。

ABSTRACT

Story generation is a challenging task, which demands to maintain consistency of the plots and characters throughout the story. Previous works have shown that GPT2, a large-scale language model, has achieved good performance on story generation. However, we observe that several serious issues still exist in the stories generated by GPT2 which can be categorized into two folds: consistency and coherency. In terms of consistency, on one hand, GPT2 cannot guarantee the consistency of the plots explicitly. On the other hand, the generated stories usually contain coreference errors. In terms of coherency, GPT2 does not take account of the discourse relations between sentences of stories directly. To enhance the consistency and coherency of the generated stories, we propose a two-stage generation framework, where the first stage is to organize the story outline which depicts the story plots and events, and the second stage is to expand the outline into a complete story. Therefore the plots consistency can be controlled and guaranteed explicitly. In addition, coreference supervision signals are incorporated to reduce coreference errors and improve the coreference consistency. Moreover, we design an auxiliary task of discourse relation modeling to improve the coherency of the generated stories. Experimental results on a story dataset show that our model outperforms the baseline approaches in terms of both automatic metrics and human evaluation.

研究の動機と目的

• GPT2が生成する物語に見られる継続的な問題、すなわちプロットの不整合性とコアフレンスの誤りを是正すること。
• 文の間のディコース関係を明示的にモデリングすることで、物語の整合性を向上させること。
• 構造的物語アウトラインを用いることでプロットの一貫性を保証する二段階型フレームワークを構築すること。
• コアフレンスの解決とディコース構造の補助的監視を統合し、物語の質を向上させること。
• 自動評価指標と人間評価を用いてモデルを評価し、GPT2ベースのベースラインを上回ることを示すこと。

提案手法

• モデルは二段階のアプローチを採用する：まずプロットの出来事と登場人物の状態を捉える物語アウトラインを生成し、その後にそれを完全な物語に拡張する。
• トレーニング段階でコアフレンスの監視を適用し、代名詞や名詞の参照における曖昧さを低減することで、コアフレンスの一貫性を向上させる。
• 文のペア間の関係（例：対比、原因、条件など）を予測するディコース関係分類ヘッドを補助タスクとして導入する。
• 損失関数は言語モデル損失と、ディコース関係予測の重み付き損失の組み合わせであり、λ₁ = 0.1 が最適であると判明した。
• 両段階で事前学習済みのトランスフォーマー基盤の自己回帰的言語モデル（TLM）を活用し、構造的監視のもとで微調整する。
• デコード段階ではトップ-kサンプリングを用いるが、構造的生成プロセスのおかげでランダムなトークン生成の影響が整合性に及ぼす影響が軽減される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの自己回帰的モデルと比較して、二段階型生成フレームワークは物語生成におけるプロットの一貫性を向上させることができるか？
• RQ2 コアフレンスの監視は、生成された物語におけるコアフレンスの誤りをどの程度低減するか？
• RQ3 ディコース関係モデリングは、長編物語における文レベルの整合性をどの程度向上させるか？
• RQ4 物語生成において、言語モデルと補助的ディコース関係予測の間の最適なトレードオフは何か？
• RQ5 構造的物語アウトラインの統合は、直接の自己回帰的生成と比較して、より整合的で一貫性のある物語を生成するのか？

主な発見

• 提案モデルは自動評価指標および人間評価の両方でGPT2およびGPT2Pを上回り、物語の質が向上していることが示された。
• モデルは予測されたディコース関係の割合が最も高く、未知の関係の割合が最小であった。これは、より優れたディコース整合性を示している。
• コアフレンスの監視により、コアフレンスの誤りが顕著に低減され、生成物語における曖昧または誤った代名詞参照の数が減少した。
• 二段階型フレームワークにより、登場人物の状態や出来事の順序における矛盾が少なくなり、より良いプロットの一貫性が確保された。
• ディコース損失の最適な重みλ₁ = 0.1は、補助タスクと主な言語モデル目的のバランスを保ちつつ性能を低下させないことが判明した。
• 事例研究では、特に登場人物やプロットの継続性を維持する点で、GPT2Pと比較してモデルがより整合的で一貫性があり、論理的な構造を持つ物語を生成していることが示された。