[論文レビュー] Joint Constrained Learning for Event-Event Relation Extraction

Haoyu Wang, Muhao Chen+2 more|arXiv (Cornell University)|Oct 13, 2020

Natural Language Processing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、イベント関係抽出における時系列的（前後）およびサブイベント的（親子）関係の論理的整合性を強制する共同制約学習フレームワークを提案する。論理的制約（推移性、対称性、結合性など）を微分可能損失関数に変換することで、共同でアノテートされたデータを必要とせずに、TempRelおよびサブイベント関係タスクの両方で性能向上を達成し、SOTA手法を上回り、高コストなグローバル推論の後処理を不要にする。

ABSTRACT

Understanding natural language involves recognizing how multiple event mentions structurally and temporally interact with each other. In this process, one can induce event complexes that organize multi-granular events with temporal order and membership relations interweaving among them. Due to the lack of jointly labeled data for these relational phenomena and the restriction on the structures they articulate, we propose a joint constrained learning framework for modeling event-event relations. Specifically, the framework enforces logical constraints within and across multiple temporal and subevent relations by converting these constraints into differentiable learning objectives. We show that our joint constrained learning approach effectively compensates for the lack of jointly labeled data, and outperforms SOTA methods on benchmarks for both temporal relation extraction and event hierarchy construction, replacing a commonly used but more expensive global inference process. We also present a promising case study showing the effectiveness of our approach in inducing event complexes on an external corpus.

研究の動機と目的

• イベント複合体抽出における時系列的およびサブイベント的関係の共同アノテーションデータの不足に対処すること。
• トレーニング中に記述的制約を強制することで、複数のイベント関係タイプにわたるモデルの汎化性能と論理的整合性を向上させること。
• グローバル推論の高コストなステップを、関係間の推移性と対称性を維持する微分可能な制約に置き換えること。
• タスク固有の再トレーニングを必要とせず、外部データセット上で効果的なイベント複合体誘導を可能にすること。
• 単一の論理的に整合性のある学習フレームワークで、時系列的および階層的イベント関係を統合すること。

提案手法

• フレームワークは、時系列的およびサブイベント的関係にわたる3種類の論理的制約（アノテーション整合性、対称性整合性、結合性整合性）を強制する。
• 論理的規則を論理述語の微分可能リラクゼーションを用いて微分可能損失関数に変換し、勾配ベース最適化を可能にする。
• 共有表現と制約を考慮した目的関数を用いて、時系列関係（TempRel）とサブイベント関係（subevent）抽出タスクを共同でトレーニングする。
• 結合性制約により、e1 Before e2 かつ e2 Parent-of e3 ならば e1 Before e3 となるように保証し、トレーニング中に推移的推論を強制する。
• 共通の知識とタスク固有の監視信号を統合した学習目的関数に統合することで、汎化性能を向上させる。
• グローバル推論を回避するため、論理的整合性を損失関数に直接埋め込み、後処理への依存を低減する。

実験結果

リサーチクエスチョン

• RQ1 神経モデルに論理的制約を効果的に埋め込むことは可能か？
• RQ2 時系列的およびサブイベント的関係にわたる推移的および対称的整合性を強制することで、両タスクの性能向上が達成できるか？
• RQ3 共同アノテーションデータを必要としない共同学習フレームワークは、別個モデルを上回る性能を発揮できるか？
• RQ4 アノテーション、対称性、結合性といった異なる種類の制約は、性能向上にどの程度寄与するか？
• RQ5 微調整を伴わず、外部データセットに汎化可能か、特に完全なイベント複合体の誘導において有効か？

主な発見

• 共同制約学習モデルは、共同でアノテートされたデータを必要とせず、TempRelおよびサブイベント関係抽出ベンチマークでSOTA性能を達成した。
• タスク間制約（結合性）を組み込むことで、F1スコアが1.0–2.6%絶対的に向上し、タスク間整合性の価値を示した。
• 共通の知識を組み込むことで、追加でF1スコアが0.8–1.2%向上し、その補完的利点を示した。
• 制約学習を削除し、グローバル推論のみに依存すると、F1スコアが2.6–12.3%低下し、学習段階での整合性が不可欠であることを証明した。
• 外部のREDデータセットで評価した際、TempRelタスクで0.72のF1、サブイベント関係タスクで0.54のF1を達成し、優れた汎化性能を示した。
• ケーススタディを通じて、未学習データに対して完全なイベント複合体を効果的に誘導できることを示した。