[論文レビュー] Learning to Predict Explainable Plots for Neural Story Generation

Gang Chen, Yang Liu+4 more|arXiv (Cornell University)|Dec 5, 2019

Topic Modeling参考文献 39被引用数 10

ひとこと要約

本稿では、物語のタイトルと生成された物語の間の情報ギャップを埋めるために、人間が理解できる自然言語のアウトライン（高レベルのプロット）を潜在変数として学習するモデルを提案する。外部要約モデルと共同で訓練し、全アウトラインの列挙を避けるための共同目的関数を用いることで、2つのベンチマークデータセットにおいて自動評価および人的評価の両面で最先端の性能を達成した。

ABSTRACT

Story generation is an important natural language processing task that aims to generate coherent stories automatically. While the use of neural networks has proven effective in improving story generation, how to learn to generate an explainable high-level plot still remains a major challenge. In this work, we propose a latent variable model for neural story generation. The model treats an outline, which is a natural language sentence explainable to humans, as a latent variable to represent a high-level plot that bridges the input and output. We adopt an external summarization model to guide the latent variable model to learn how to generate outlines from training data. Experiments show that our approach achieves significant improvements over state-of-the-art methods in both automatic and human evaluations.

研究の動機と目的

• 短いタイトルから長編の物語を生成するニューラル物語生成における情報ギャップを解消するため、潜在変数として高レベルのプロットを導入すること。
• 実数値ベクトルではなく、自然言語文としてプロットを表現することで解釈可能性を向上させること。
• 教師なしの訓練データからアウトラインを学ぶ課題を、外部の要約モデルを教師信号として用いることで克服すること。
• 不良なアウトラインによる誤差伝搬を軽減するため、アウトライン生成モデルと物語生成モデルを共同で訓練すること。
• 訓練中に多様で予測されたアウトラインにさらされることで、モデルの頑健性と一般化性能を向上させること。

提案手法

• モデルは、入力のタイトルと出力の物語を結ぶ潜在変数として、自然言語文（アウトライン）を扱う。
• 外部のテキスト要約モデルが、潜在アウトライン生成のための監視信号を提供し、妥当でタイトル関連のアウトラインを生成するようにモデルを導く。
• アウトライン品質と物語生成の両方を最適化するための共同訓練目的関数を導入し、すべての可能なアウトラインを明示的に列挙するのを避ける。
• アウトラインは訓練中にサンプリングされ、サンプリング過程を逆伝播可能にするための変分推論フレームワークを用いる。
• 訓練目的関数（式4）は、生成されたアウトラインが要約モデルの出力に近いだけでなく、真の物語を再構築できるように物語生成器を支援することを保証する。
• 物語生成器では自己注意機構を用いて長距離依存関係をモデル化し、一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、神経的物語生成においてタイトルと物語の間を効果的に橋渡しする、人間が理解できる自然言語のアウトラインを学習できるか？
• RQ2 要約モデルと共同で訓練することで、固定または事前学習済みのアウトラインを用いる場合と比較して、アウトラインおよび物語生成の品質と頑健性がどのように向上するか？
• RQ3 アウトラインの生成を学習することで、劣悪または退化したアウトラインに起因する誤差伝搬はどの程度軽減されるか？
• RQ4 共同目的関数を用いた潜在変数モデルは、直接マッピングやアウトライン・物語部品の別々の訓練と比較して、より優れた性能を達成するか？
• RQ5 訓練の過程で生成されたアウトラインはどのように進化するか？時間経過とともに、より情報量が多く関連性の高いものになるか？

主な発見

• 提案手法は、2つのベンチマークデータセットにおいて、自動評価（例：BLEUスコア）および人的評価の両面で、SOTA手法を顕著に上回る性能を達成した。
• 異なる訓練コーパスサイズにおいても、ベースライン手法に比べて一貫した優位性を示し、データスケールに対して頑健であることが示された。
• 計画モデルが生成するアウトラインは訓練の過程で進化し、要約モデルの出力よりも情報量が多くなる。特に32Kイテレーション目では、物語に関連するより豊かな内容が得られた。
• ベースライン手法がテーマの一貫性を維持できなかった場合でも、本手法は流暢で一貫性があり、タイトルに関連する物語を効果的に生成できた。
• 共同訓練目的関数のおかげで、訓練中に予測されたアウトラインにさらされることで、完璧なアウトラインに依存するのを減らし、一般化性能が向上した。
• 人的評価では、本手法で生成された物語が、競合手法に比べてタイトルに対してより関連性があり、一貫性が高いかつ自然であると確認された。