[論文レビュー] Strategies for Structuring Story Generation

Angela Fan, Mike Lewis+1 more|arXiv (Cornell University)|Feb 4, 2019

Topic Modeling参考文献 47被引用数 17

ひとこと要約

本稿では、物語生成のための粗いから細かいフレームワークを提案する。このフレームワークは物語生成を3段階に分解する：行動の述語・目的語構造の生成、プレースホルダを用いたエンティティを含む物語の生成、およびプレースホルダを文脈に応じた参照に置き換えする。この手法は物語の整合性と多様性を向上させ、人間の評価者により先行手法よりも優れた出力を得ている。

ABSTRACT

Writers generally rely on plans or sketches to write long stories, but most current language models generate word by word from left to right. We explore coarse-to-fine models for creating narrative texts of several hundred words, and introduce new models which decompose stories by abstracting over actions and entities. The model first generates the predicate-argument structure of the text, where different mentions of the same entity are marked with placeholder tokens. It then generates a surface realization of the predicate-argument structure, and finally replaces the entity placeholders with context-sensitive names and references. Human judges prefer the stories from our models to a wide range of previous approaches to hierarchical text generation. Extensive analysis shows that our methods can help improve the diversity and coherence of events and entities in generated stories.

研究の動機と目的

• 自己回帰的言語モデルを用いた長編物語生成において、プロットの整合性と登場人物の一貫性を維持する課題に対処すること。
• 上位レベルの計画と表面的なテキスト生成を分離する効果的な分解戦略を探索すること。
• 手動のアノテーションを必要とせずに、生成された物語におけるエンティティの追跡と参照解決を改善すること。
• 任意のテキストデータセットに適用可能なスケーラブルでエンドツーエンドで学習可能なフレームワークを構築すること。

提案手法

• モデルはまず、意味的役割ラベル付け（SRL）を用いて、物語の行動の構造的述語・目的語表現を生成し、表面的な形態から抽象化する。
• 次に、エンティティのためのプレースホルダトークン（例：ent0）を用いて物語を生成し、イベント間での構造的整合性を保持する。
• 最後に、コアファレンスに配慮した生成モジュールを用いて、プレースホルダを文脈に応じた参照に置き換える。
• 変分推論フレームワークを用い、抽象表現の決定的事後分布を通じて同時尤度を最適化する。
• デコーダー内に特別な自己注意機構を導入し、以前に生成された動詞にのみ注目することで、行動シーケンスのモデリングを強化する。
• 畳み込みシーケンストゥシーケンスモデルにゲート付きマルチヘッドアテンションを組み合わせたアーキテクチャを採用し、長距離の文脈モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どの物語生成のための分解戦略が最も整合的で多様な物語を生み出すか？
• RQ2 行動とエンティティを別々の構造的段階でモデリングすることで、物語生成における長距離の整合性が向上するか？
• RQ3 エンドツーエンド自己回帰的モデルと比較して、粗いから細かい生成はエンティティの一貫性と参照の多様性にどのように影響するか？
• RQ4 教師なしで、モデルはどのようにして新しい、文脈に適した登場人物や場所の名前を生成できるか？

主な発見

• 人間の評価者により、提案手法が幅広い先行手法よりも物語の質が優れていると評価された。
• 行動シーケンスを最初に生成することで、動詞の多様性が顕著に向上し、一般的な出来事の生成が減少した。
• 非単一のコアファレンスチェーンがより多く生成され、エンティティクラスタ内での言及の多様性も向上した。これは、より良い整合性と参照管理を示している。
• エンティティ置換モジュールは、複雑な言語的文脈においても文脈に応じた名前や参照を正しく生成できた。
• コアファレンスチェーンの長さと多様性を測る自動指標において、ベースラインを上回った。
• 定性的分析では、コアファレンスに配慮したモデルが、暗黙の参照（例：犬とアレルギーの関連）を正しく解決していた一方、統合モデルは局所的文脈に依存するにとどまった。