[論文レビュー] The Future is not One-dimensional: Complex Event Schema Induction by Graph Modeling for Event Prediction

Manling Li, Sha Li+6 more|arXiv (Cornell University)|Apr 13, 2021

Semantic Web and Ontologies被引用数 16

ひとこと要約

本稿では、複数イベントの時間的依存関係と引数関係を捉える確率的でグラフベースの時系列複合イベントスキーマを誘導する新規フレームワークを提案する。自動抽出されたイベントグラフ上で自己回帰的グラフ生成モデルを用いることで、将来のイベント予測において優れた性能を達成し、HITS@1で人間が作成したスキーマを23.8%上回る。これは、線形モデルに比べて構造的かつ多次元的なイベント推論の有効性を示している。

ABSTRACT

Event schemas encode knowledge of stereotypical structures of events and their connections. As events unfold, schemas are crucial to act as a scaffolding. Previous work on event schema induction focuses either on atomic events or linear temporal event sequences, ignoring the interplay between events via arguments and argument relations. We introduce a new concept of Temporal Complex Event Schema: a graph-based schema representation that encompasses events, arguments, temporal connections and argument relations. In addition, we propose a Temporal Event Graph Model that predicts event instances following the temporal complex event schema. To build and evaluate such schemas, we release a new schema learning corpus containing 6,399 documents accompanied with event graphs, and we have manually constructed gold-standard schemas. Intrinsic evaluations based on schema matching and instance graph perplexity, prove the superior quality of our probabilistic graph schema library compared to linear representations. Extrinsic evaluation on schema-guided future event prediction further demonstrates the predictive power of our event graph model, significantly outperforming human schemas and baselines by more than 23.8% on HITS@1.

研究の動機と目的

• 既存のイベントスキーマ誘導手法がイベントを線形的または原子的とみなすという制限に対処する。これには、イベント間の関係や引数依存関係が無視されている。
• 複数イベント、複数引数、時間順序付きのイベント構造をモデル化できる、新たなタスク「時系列複合イベントスキーマ誘導」を確立する。
• 内在的評価と外在的イベント予測を両立できる確率的でグラフ構造のスキーマライブラリを構築する。
• 情報抽出システムからのノイズの多いイベント抽出結果にも耐性を持つ、堅牢なデータ駆動型スキーマ誘導システムを構築する。
• 研究利用を目的として、ゴールドスタンダードのイベントグラフとスキーマを備えた新規の大規模手動アノテーションコーパス（6,399ドキュメント）を公開する。

提案手法

• 時間的順序でイベントタイプと引数を予測する自己回帰的グラフ生成モデルである時系列イベントグラフモデル（TEGM）を提案する。
• イベントとエンティティをノードとして、時間的順序と引数関係（例：part_whole, agent）をエッジとしてモデル化する。
• コアリファレンスの引数（例： Arrest イベントの Detainee が、以前の Attack イベントの Attacker と同一）を伝搬させるコピーメカニズムを採用する。
• エッジに依存するメッセージパッシングを用いて、グラフ生成中に時間的および関係的依存関係を符号化する。
• 大規模コーパスからの自動抽出イベントグラフ上で、シーケンス生成のための交差エントロピー損失を用いて、モデルをエンドツーエンドで学習する。
• モデルを、条件なしスキーマライブラリ生成および条件付きグラフ補完（前向き／後向き予測）の両方の目的に用い、イベント予測を支援する。

実験結果

リサーチクエスチョン

• RQ1 線形的または原子的スキーマモデルと比較して、グラフベース表現は現実世界のイベントの複雑で多次元的な構造をよりよく捉えられるか？
• RQ2 学習された確率的イベントグラフモデルは、将来のイベント予測において、人間が作成したスキーマをどの程度上回れるか？
• RQ3 ゴールドスタンダードのアノテーションではなく、ノイズの多い自動抽出イベントグラフで学習した場合、スキーマ誘導手法の耐性はどの程度か？
• RQ4 誘導されたグラフスキーマは、関連する確率付きで正確な複数の仮説予測を可能にするか？
• RQ5 内在的および外在的設定の両方で、誘導された複合イベントスキーマの質を評価するのに最も効果的な指標は何か？

主な発見

• 提案された時系列イベントグラフモデルは、将来のイベント予測において、人間が作成したスキーマを顕著に上回り、HITS@1で23.8%の向上を達成した。
• 内在的評価では、スキーママッチングとインスタンスグラフのパーリュオシティにおいて、誘導されたスキーマライブラリが線形表現を上回ることが示された。
• ノイズの多い自動抽出イベントグラフで学習しても、モデルは強固な予測性能を維持しており、抽出誤りに対して耐性があることが示された。
• モデルは、適切な時間的順序と引数関係（コアリファレンスやpart_whole接続を含む）、意味的に整合性のあるイベントグラフを生成した。
• ゴールドスタンダードのスキーマを備えた新規の6,399ドキュメントコーパスの公開により、再現可能な評価と複雑なイベントスキーマ誘導分野における今後の研究が可能になった。
• フレームワークは、条件なしスキーマライブラリ生成と条件付きイベント予測（前向き／後向き）の両方を効果的にサポートし、複数の仮説に基づく予測を可能にした。