[論文レビュー] Constructing Narrative Event Evolutionary Graph for Script Event Prediction

Zhongyang Li, Xiao Ding+1 more|arXiv (Cornell University)|May 14, 2018

Topic Modeling参考文献 16被引用数 30

ひとこと要約

本稿では、スケーラビリティを確保するための局所的サブグラフ処理を採用するスケーリングされたグラフニューラルネットワーク（SGNN）を用いて、密なイベント接続をモデル化することで、スクリプトイベント予測を向上させるための物語的イベント発展グラフ（NEEG）を提案する。NYTコーパスにおいて、従来のイベントペアやチェーンベースのモデルを著しく上回り、グラフ構造の知識が予測精度と頑健性を向上させることを示している。

ABSTRACT

Script event prediction requires a model to predict the subsequent event given an existing event context. Previous models based on event pairs or event chains cannot make full use of dense event connections, which may limit their capability of event prediction. To remedy this, we propose constructing an event graph to better utilize the event network information for script event prediction. In particular, we first extract narrative event chains from large quantities of news corpus, and then construct a narrative event evolutionary graph (NEEG) based on the extracted chains. NEEG can be seen as a knowledge base that describes event evolutionary principles and patterns. To solve the inference problem on NEEG, we present a scaled graph neural network (SGNN) to model event interactions and learn better event representations. Instead of computing the representations on the whole graph, SGNN processes only the concerned nodes each time, which makes our model feasible to large-scale graphs. By comparing the similarity between input context event representations and candidate event representations, we can choose the most reasonable subsequent event. Experimental results on widely used New York Times corpus demonstrate that our model significantly outperforms state-of-the-art baseline methods, by using standard multiple choice narrative cloze evaluation.

研究の動機と目的

• 既存のスクリプトイベント予測モデルが疎なイベントペアやチェーンに依存するという限界を是正すること。これにより、密なイベントネットワークの接続を活用できない。
• 大規模なニュースコーパスから物語的イベント発展グラフ（NEEG）を構築し、抽象的なイベント発展のパターンや原則を捉えること。
• 従来のグラフニューラルネットワークが密で有向なグラフに対して計算的に非現実的であるのを克服するため、大規模なイベントグラフにおけるスケーラブルな推論メカニズムを構築すること。
• イベント間の構造的・関係的情報を豊かに捉えるネットワーク埋め込みを活用することで、スクリプトイベント予測の精度と頑健性を向上させること。

提案手法

• 大規模なニュースコーパスから物語的イベントチェーンを抽出し、時間的・因果的関係を持つイベントの系列を特定する。
• ノードがイベントを表し、エッジがそれらの間の時間的または因果的関係を表す物語的イベント発展グラフ（NEEG）を構築する。
• 文脈と候補イベントを含むサブグラフにのみメッセージパッシングを適用するスケーリングされたグラフニューラルネットワーク（SGNN）を提案し、大規模なグラフにおける効率的な推論を可能にする。
• SGNNでゲート付き再帰ユニット（GRUs）を用い、局所的近傍情報に基づいてイベント相互作用をモデル化し、ノード表現を反復的に更新する。
• 入力文脈の表現と候補イベントの表現との類似度を計算し、最も妥当な次に続くイベントを選択する。
• ニューヨーク・タイムズコーパス上で、複数選択形式の物語埋め込み評価設定を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 イベントペアやチェーンを越えて、グラフ構造による密なイベント接続をモデル化することで、スクリプトイベント予測の性能が向上するか？
• RQ2 大規模で有向的かつ循環的なイベントグラフから、下流の予測タスクに適したイベント表現を効果的に学習する方法は何か？
• RQ3 抽象的なイベント発展のパターン（例：時間的・因果的進行）を組み込むことで、予測性能にどのような影響を与えるか？
• RQ4 グローバルなグラフ計算を必要とせず、大規模なイベントグラフを処理できるスケーラブルなグラフニューラルネットワークを設計できるか？
• RQ5 従来の共起性やシーケンスベースのベースラインと比較して、提案手法は未観測のイベント文脈に対してもより一般化しやすいか？

主な発見

• 提案されたNEEGベースのモデルは、広く用いられているニューヨーク・タイムズの物語埋め込みベンチマークで、最先端のベースラインを著しく上回る。
• グラフ構造の知識を用いることで、イベントペアやチェーンよりも豊かな関係的パターンを捉えることができ、次に続くイベントの予測精度が向上する。
• スケーリングされたグラフニューラルネットワーク（SGNN）により、各予測インスタンスごとに関連するサブグラフのみを処理することで、大規模なイベントグラフにおける効率的な推論が可能になる。
• 候補イベントに強く誤解を招く共起パターンが存在しても、正しく次のイベントを選択する能力が向上し、モデルの頑健性が向上することが示された。
• 実験結果から、NEEGにエンコードされたイベント発展の原則が、物語理解のための有益な一般常識知識であることが確認された。
• 孤立したペアワイズ関係ではなく、文脈と正しい次イベントを含む強連結成分のような構造的接続性を活用することで、本手法は優れた性能を達成している。