[論文レビュー] Towards Coherent and Consistent Use of Entities in Narrative Generation

Pinelopi Papalampidi, Kris Cao+1 more|arXiv (Cornell University)|Feb 3, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文は、物語生成におけるエンティティの一貫性と整合性を向上させるために、大規模事前学習言語モデル向けの動的エンティティメモリモジュールを提案する。トークンレベルのエンティティアノテーションと学習可能なエンティティメモリ上のクロスアテンションを統合することで、特に制限されたコンテキスト窓においても、長距離にわたるエンティティ追跡が顕著に向上する。自動評価指標と人的評価の両方で検証された結果である。

ABSTRACT

Large pre-trained language models (LMs) have demonstrated impressive capabilities in generating long, fluent text; however, there is little to no analysis on their ability to maintain entity coherence and consistency. In this work, we focus on the end task of narrative generation and systematically analyse the long-range entity coherence and consistency in generated stories. First, we propose a set of automatic metrics for measuring model performance in terms of entity usage. Given these metrics, we quantify the limitations of current LMs. Next, we propose augmenting a pre-trained LM with a dynamic entity memory in an end-to-end manner by using an auxiliary entity-related loss for guiding the reads and writes to the memory. We demonstrate that the dynamic entity memory increases entity coherence according to both automatic and human judgment and helps preserving entity-related information especially in settings with a limited context window. Finally, we also validate that our automatic metrics are correlated with human ratings and serve as a good indicator of the quality of generated stories.

研究の動機と目的

• 事前学習言語モデルが長文物語生成中にエンティティの一貫性と整合性を維持する能力に内在する制限要因を体系的に分析すること。
• 現在のモデルが、制限されたコンテキスト窓を伴う長文物語において、特にエンティティ関連情報を保持できないことを同定すること。
• 自然な文体の維持を損なわずにエンティティの一貫性を向上させる、エンドツーエンドで学習可能な動的エンティティメモリ機構を提案すること。
• 提案された自動評価指標が人的判断と相関することを検証し、物語品質の信頼できる指標としての有効性を示すこと。

提案手法

• 生成物語におけるエンティティ使用状況を定量化するための自動評価指標（一貫性（C）、コントロール（正確一致および部分一致）、整合性（V））を提案する。
• 各トランスフォーマーレイヤーでクロスアテンション機構を用いて、エンティティ表現を格納・更新する動的エンティティメモリを事前学習モデルに統合する。
• 文脈の自己アテンションとエンティティメモリのクロスアテンションを組み合わせるゲーティング機構を導入し、複数エンティティへの条件付けを可能にする。
• 訓練中に、ゴールスタンダードのトークンレベルエンティティアノテーションを用いてクロスアテンションスコアを正則化し、メモリの読み書きをガイドする。
• エンティティ関連損失を補助的に用いて、エンドツーエンドでモデル全体を訓練し、エンティティメモリの活用と一貫性の向上を促進する。
• 長文生成を模倣するために、さまざまなコンテキスト窓サイズを想定し、WritingPromptsおよびWikiPlotsの2つの物語データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の事前学習言語モデルは、長文物語生成においてエンティティの一貫性と整合性をどの程度維持できるか？
• RQ2 エンティティの一貫性と整合性に関する自動評価指標は、人的判断とどの程度相関するか？
• RQ3 動的エンティティメモリは、制限されたコンテキスト窓環境下でもエンティティの一貫性を向上させ、エンティティ関連情報を保持できるか？
• RQ4 提案されたメモリ拡張モデルは、人的評価による品質とエンティティ使用状況において、通常の言語モデルに比べてどのように差がつくか？
• RQ5 一貫性、コントロール、整合性の各要因が、人的好みに与える相対的影響は何か？

主な発見

• 動的エンティティメモリモデル（S-MnemeLM）は、自動評価指標と人的評価の両方で、通常の言語モデルに比べて顕著にエンティティの一貫性が向上した。
• 人的ジャッジは、メモリ拡張モデルを著しく一貫性が高く、より好まれる傾向にあると評価した一方、通常のモデルは頻繁に最悪と選ばれた。
• 一貫性指標（C）は人的判断と中程度のピアソン相関（rₐ = 0.32）を示し、物語品質の信頼できる自動指標であると示唆された。
• 制限されたコンテキスト窓下でも、エンティティ関連情報の損失が著しく減少し、より多くのエンティティ関連情報を保持した。
• 整合性は最も評価が難しい側面であり、自動指標と人的評価の間で最も低い相関（rₐ = 0.08）を示した。これは、評価の難易度が依然として高いことを示唆している。
• 低相関にもかかわらず、人的に書かれた物語は生成物に比べてはるかに高い整合性を示しており、今後の研究で埋めるべきギャップが存在することが示された。