[論文レビュー] NGEP: A Graph-based Event Planning Framework for Story Generation

Chen Tang, Zhihao Zhang+3 more|arXiv (Cornell University)|Oct 19, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、構造的推論にイベントグラフを用い、神経的アドバイザーを搭載することで物語生成における制御性と幻覚の低減を図る、新しいグラフベースのイベント計画フレームワークNGEPを提案する。グラフベースの推論と神経的ガイダンスを組み合わせることで、NGEPはイベント順序の質と下流の物語生成の両面でSOTA手法を上回り、より高い一貫性と繰り返しの低減を達成する。

ABSTRACT

To improve the performance of long text generation, recent studies have leveraged automatically planned event structures (i.e. storylines) to guide story generation. Such prior works mostly employ end-to-end neural generation models to predict event sequences for a story. However, such generation models struggle to guarantee the narrative coherence of separate events due to the hallucination problem, and additionally the generated event sequences are often hard to control due to the end-to-end nature of the models. To address these challenges, we propose NGEP, an novel event planning framework which generates an event sequence by performing inference on an automatically constructed event graph and enhances generalisation ability through a neural event advisor. We conduct a range of experiments on multiple criteria, and the results demonstrate that our graph-based neural framework outperforms the state-of-the-art (SOTA) event planning approaches, considering both the performance of event sequence generation and the effectiveness on the downstream task of story generation.

研究の動機と目的

• エンドツーエンドの神経的イベント計画モデルが長編物語生成において制御性が低く、幻覚を引き起こすという限界を是正すること。
• トレーニングデータからの構造的イベント関係を活用することで、生成物語の物語的整合性と多様性を向上させること。
• 完全に神経的生成に置き換えるのではなく、神経的アドバイザーによって補完されるグラフベースの推論にすることで、イベント計画の解釈可能性と一般化性能を向上させること。
• イベントグラフを用いた知識に基づくイベント選択により、繰り返しを低減し、イベント順序の論理的整合性を向上させること。
• ハイブリッドなグラフ-神経計画が、SOTAの神経的アプローチに比べて、下流の物語生成性能を顕著に向上させることを示すこと。

提案手法

• spaCyの依存構造解析を用いて動詞句イベントとその有向関係（例：前後イベント）を抽出することで、トレーニングデータからイベントグラフGを構築する。
• ノードの次数と同時発生スコアを用いて条件付き確率をモデル化し、イベントグラフ内の意味的に整合性の高い遷移を優先する。
• 有効なグラフ遷移が存在しない場合に、次に来るイベントを予測するためのBARTベースの神経的アドバイザーを採用し、希少または未観測のイベントパターンのカバーを保証する。
• イベントグラフと神経的アドバイザーを統合した二段階推論プロセスを採用：まずグラフベースの候補選択を行い、その後、語彙外または希少なイベントに対して神経的アドバイザーのフォールバックを実施する。
• トレーニングおよび推論中にイベントとシーケンスを表すために特別なトークン化フォーマット（例：¡s¿, ¡sep¿, ¡e¿）を用いる。
• 入力文脈と以前に予測されたイベントを条件として、個々のイベントを予測するように神経的アドバイザーを訓練することで、全シーケンス生成における制御性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの神経モデルと比較して、グラフベースの推論メカニズムは、物語生成におけるイベント順序の論理的整合性と多様性を向上させることができるか？
• RQ2 イベントグラフが有効な遷移を提供できない場合に、神経的アドバイザーの統合が、イベント計画の一般化と制御性をどのように向上させるか？
• RQ3 SOTAの神経的イベント計画手法と比較して、NGEPは物語生成における幻覚と繰り返しをどの程度低減するか？
• RQ4 イベントグラフによる知識の根拠付けは、完全に神経的なアプローチと比較して、より解釈可能で事実に基づいたイベント予測を可能にするか？
• RQ5 複数の物語生成ベンチマークにおいて、NGEPの性能はイベント順序の質と物語の整合性の両面で、どのようにSOTA手法と比較されるか？

主な発見

• NGEPは、すべてのSOTAベースラインに対してROUGEおよびBLEUスコアで顕著に優れており、人間が書いたイベント計画との類似度が高いため、より高い類似性を示している。
• モデルは物語内での繰り返しを低減し、より安定した繰り返し集約スコア（IR-A）を達成しており、生成物語の多様性と冗長性の低減が裏付けられている。
• 神経的アドバイザー部は、希少または未観測のイベントに対して耐性を示しており、NGEPの変種であるEventAdvisorが一部の指標でNGEPを上回ったことから、グラフ外イベントの処理が優れていることが示された。
• 事例スタディにより、NGEPの予測がトレーニングデータのパターンに基づいていることが確認された—例：'had test'の後に 'people studied hard to prepare for this test' が高確率で予測された—これは幻覚ではなく、知識に基づく推論であることを示している。
• グラフベースの推論メカニズムにより、ノードの次数と遷移確率を介してモデルの意思決定が追跡可能となり、より解釈可能なイベント計画が可能になった。
• NGEPは、下流の物語生成タスクにおいてSOTAの性能を達成しており、より良いイベント計画が、質の高い、より整合性の高い物語を生み出すことを確認した。