[論文レビュー] A Skeleton-Based Model for Promoting Coherence Among Sentences in Narrative Story Generation

Jingjing Xu, Xuancheng Ren+4 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本稿では、最初にキーステートメント（スケルトン）を生成し、その後それを文に拡張することで、物語生成の整合性を向上させるスケルトンベースの生成モデルを提案する。手動でのアノテーションに依存せずに強化学習を用いてスケルトンを自動で学習することで、人間評価において最先端のモデル比でGスコアで20.1%の向上を達成した。

ABSTRACT

Narrative story generation is a challenging problem because it demands the generated sentences with tight semantic connections, which has not been well studied by most existing generative models. To address this problem, we propose a skeleton-based model to promote the coherence of generated stories. Different from traditional models that generate a complete sentence at a stroke, the proposed model first generates the most critical phrases, called skeleton, and then expands the skeleton to a complete and fluent sentence. The skeleton is not manually defined, but learned by a reinforcement learning method. Compared to the state-of-the-art models, our skeleton-based model can generate significantly more coherent text according to human evaluation and automatic evaluation. The G-score is improved by 20.1% in the human evaluation. The code is available at https://github.com/lancopku/Skeleton-Based-Generation-Model

研究の動機と目的

• 生成された文が緊密な意味的つながりを欠くという、物語生成における整合性の低さという課題に対処すること。
• 一括で完全な文を生成するのではなく、キーステートメントに焦点を当てることで、文間の依存関係をより効果的にモデル化すること。
• 手動アノテーションやルールベースの抽出手法に依存せずに、文のスケルトンを自動で学習すること。
• 2段階の生成プロセス（スケルトン生成 → 文の拡張）を用いて、物語のなめらかさと整合性を向上させること。
• 自動指標と人間評価の両方を用いてモデルの有効性を評価すること。特に、整合性と意味的関連性に注目する。

提案手法

• モデルは2段階のアーキテクチャを採用している：スケルトンベースの生成モジュールとスケルトン抽出モジュール。
• 入力からスケルトンへのコンポonentは、アテンションを備えたエンコーダ・デコーダ型のsequence-to-sequenceモデルを用いて、入力記述を意味的スケルトンにマッピングする。
• スケルトンから文へのコンポonentは、別のsequence-to-sequenceモデルを用いて、スケルトンを自然で完全な文に拡張する。
• スケルトン抽出モジュールと生成モジュールを接続する強化学習フレームワークを用いて、スケルトンの質をエンドツーエンドで最適化する。
• スケルトン抽出モジュールは、微分可能ポリシー・ネットワークを用い、文からキーフレーズ（例：述語、主語、目的語）を選択する。語の選択を離散的決定とみなす。
• 強化学習の報酬信号は、人間評価スコア（Gスコア）から得られ、より整合性の高い物語を生成するスケルトンを生成するようモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 一括でシーケンスからシーケンスを生成するモデルと比較して、まずスケルトンを生成し、その後それを拡張する2段階の生成アプローチは、物語の整合性を向上させることができるか？
• RQ2 人間によるアノテーションなしに、強化学習が文のスケルトンを自動で学習するのにどの程度有効であるか？
• RQ3 スケルトンベースの生成は、意味的スパarsityをどの程度軽減し、文間の依存関係モデリングをどの程度改善するか？
• RQ4 入力長の変動や未知のフレーズ比に対して、既存のモデルと比較して、本モデルはどの程度の性能を示すか？
• RQ5 生成された物語で最も一般的な整合性の欠如（例：関連のない場面、混乱した時間軸）は何か？また、本モデルはそれらをどのように是正するか？

主な発見

• 提案されたスケルトンベースのモデルは、人間評価において最先端のモデル比でGスコアを20.1%向上させ、整合性の向上が顕著に確認された。
• 本モデルは人間評価の整合性スコアで5.62を達成し、ベースラインのSeq2Seqモデルの4.98スコアを著しく上回った。
• スケルトン抽出モジュールは、不要な修飾語を除去しながらも、本質的な意味的コンテンツを保持するキーフレーズを的確に特定できており、抽出スケルトンの定性的分析から明らかになった。
• 本モデルは、入力長の変動や未知語の割合の変動に対しても、ベースラインと比較して相対的に安定した性能を示し、整合性の低下が小さいことを確認した。
• 誤差解析の結果、整合性の欠如の主な原因は関連のない場面（62.8%）であり、次に混乱した文法（25.8%）、時間軸の不整合（5.7%）が続くことが判明した。
• アブレーションスタディにより、スケルトン抽出モジュールと強化学習の両方が不可欠であることが確認され、両方のコンポーネントを備えた完全なモデルが、いずれかを欠いたバリアントを上回った。