[論文レビュー] End-to-End Neural Event Coreference Resolution

Yaojie Lu, Hongyu Lin+3 more|arXiv (Cornell University)|Sep 17, 2020

Topic Modeling参考文献 51被引用数 8

ひとこと要約

本稿では、rawテキストから特徴を自動で学習するエンド・ツー・エンドのニューラルネットワークE³Cを提案する。このモデルは、イベント検出とコアリフレンス解決を統合的にモデル化し、イベントの多様な表記や長距離コアリフレンスの問題に対処するタイプガイドドメカニズムを導入することで、KBP 2016およびKBP 2017データセットで最先端の性能を達成した。

ABSTRACT

Traditional event coreference systems usually rely on pipeline framework and hand-crafted features, which often face error propagation problem and have poor generalization ability. In this paper, we propose an End-to-End Event Coreference approach -- E3C neural network, which can jointly model event detection and event coreference resolution tasks, and learn to extract features from raw text automatically. Furthermore, because event mentions are highly diversified and event coreference is intricately governed by long-distance, semantic-dependent decisions, a type-guided event coreference mechanism is further proposed in our E3C neural network. Experiments show that our method achieves new state-of-the-art performance on two standard datasets.

研究の動機と目的

• NER やイベント検出などの上流コンponentに依存する従来のパイプラインベースのイベントコアリフレンスシステムに内在する誤差伝搬問題を解消すること。
• 従来の手法で用いられる手作業による特徴量の制限を克服し、ドメインや言語を越えて一般化できるようにすること。
• エンド・ツー・エンドのフレームワーク内でイベント検出とコアリフレンス解決を統合的にモデル化し、共有表現学習を可能にし、性能を向上させること。
• イベントコアリフレンスにおける表記の多様性や、意味的依存性のある長距離コアリフレンス意思決定の課題を解決すること。
• 予測されたコアリフレンスチェーン全体にわたり、イベントタイプのグローバルな一貫性を保証するタイプガイドドメカニズムを設計すること。

提案手法

• NLPの前処理コンponentを必要とせず、rawテキストから直接候補イベント表記を特定するmentionプロポーザルネットワークを採用する。
• エンド・ツー・エンドのアプローチで、mention間のコアリフレンス関係を予測するアンテセデント予測ネットワークを用いる。
• コアリフレンスとイベントタイプスコアを同時に予測することで意味的理解を向上させる、タイプ情報に基づくアンテセデントネットワークを導入する。
• イベントタイプ埋め込みをmention表現に統合することで、語彙的に異なるmention間を橋渡しする、タイプ精錬型mention表現を適用する。
• 予測されたコアリフレンスチェーン全体にわたり、イベントタイプのグローバルな一貫性を保証するタイプガイドドデコーディングアルゴリズムを設計する。
• 明示的な引数役割抽出を伴わずに、マスクアテンションを用いて引数情報を暗黙的にモデル化し、意味的表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 パイプラインコンponentに依存せずに、エンド・ツー・エンドのニューラルネットワークがイベント検出とコアリフレンス解決を同時に学習できるか？
• RQ2 タイプガイドドメカニズムは、表記の多様性や長距離コアリフレンス意思決定の影響をどれほど軽減できるか？
• RQ3 ベースライン手法と比較して、イベントタイプ情報を組み込むことでコアリフレンス解決の性能がどの程度向上するか？
• RQ4 本手法は、ニューズリポート（newswire）や非公式なディスカッションフォーラムなど、異なるドメインに一般化できるか？
• RQ5 従来の特徴ベースや統合モデルアプローチと比較して、タイプガイドドメカニズムは、耐性と精度の面で優れているか？

主な発見

• E³Cは、KBP 2016およびKBP 2017のベンチマークデータセットで、いずれの設定でも最先端の性能を達成した。
• KBP 2017では、F1スコア63.4を達成し、前回の最高スコア56.0を顕著に上回った。
• アブレーションスタディの結果、タイプガイドドメカニズムの各構成要素（タイプ情報に基づく予測、タイプ精錬型表現、タイプガイドドデコーディング）が性能向上に寄与していることが確認された。
• モデルは強力な一般化性能を示したが、非公式なディスカッションフォーラム（DF）データでは、ニューズリポート（NW）データに比べて性能が低下しており、ドメイン適応の課題が残っていることが示唆された。
• タイプガイドドメカニズムは、意味的に類似しているが語彙的に異なるmention（例：'departing' と 'goodbye'）を効果的に橋渡しでき、これらが同じEndPositionイベントを指していることを正しく処理した。
• エンド・ツー・エンドの設計により、上流コンponent由来の誤差伝搬が排除され、よりロバストで一貫性のある予測が得られた。