[論文レビュー] Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction

Rujun Han, Ning Qiang+1 more|arXiv (Cornell University)|Sep 2, 2019

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、共有コンテキスト表現と整数線形プログラミング（ILP）を用いた構造的予測による、エンドツーエンドのイベントおよび時系列関係抽出のための共同ニューラルモデルを提案する。イベント抽出と関係分類を構造的制約（一貫性および推移性）を伴って同時に学習させることで、誤り伝搬を低減し、先行する最先端システムと比較してTB-DenseではF1スコアを10%、MATRESでは6.8%向上させた。

ABSTRACT

We propose a joint event and temporal relation extraction model with shared representation learning and structured prediction. The proposed method has two advantages over existing work. First, it improves event representation by allowing the event and relation modules to share the same contextualized embeddings and neural representation learner. Second, it avoids error propagation in the conventional pipeline systems by leveraging structured inference and learning methods to assign both the event labels and the temporal relation labels jointly. Experiments show that the proposed method can improve both event extraction and temporal relation extraction over state-of-the-art systems, with the end-to-end F1 improved by 10% and 6.8% on two benchmark datasets respectively.

研究の動機と目的

• パイプラインシステムが別々にイベント抽出と時系列関係分類を実行する際の誤り伝搬を是正すること。
• イベントと関係モジュール間でコンテキストに依存する埋め込みとニューラル特徴抽出器を共有することで、イベント表現を向上させること。
• グローバルな制約を用いた構造的推論により、エンドツーエンドでのイベントおよび時系列関係の予測を可能にすること。
• 構造的制約を伴う共同学習が、イベントおよび関係抽出の両方の性能向上に寄与することを検証すること。
• VAGUE関係や低信頼度のイベントの検出における限界を特定し、失敗モードを分析すること。

提案手法

• 両方のモジュールの共有入力表現として、BERTに基づくコンテキストに依存する埋め込みを用いる。
• 同じ入力を用いて両タスクのための深層特徴を抽出するための共有ニューラル表現学習器を採用する。
• イベント-関係の一貫性および時系列の推移性を強制するため、整数線形プログラミング（ILP）を用いた構造的予測を適用する。
• グローバルラベルの一貫性を保証するため、構造的サポートベクターマシン（SSVM）を用いてエンドツーエンドの共同学習を実装する。
• 非イベント同士、またはイベント-非イベントペア間の関係は必ずNONEでなければならないことを制約する。また、時系列のループは許可しない。
• 信頼度の低いイベント予測をフィルタリングするための閾値を設定し、誤分類されたイベントの訂正にため共同推論を適用する。

実験結果

リサーチクエスチョン

• RQ1 イベントと時系列関係抽出の共同学習は、パイプラインシステムに起因する誤り伝搬を低減できるか？
• RQ2 イベントモジュールと関係モジュール間で表現を共有することで、両タスクの性能向上が達成できるか？
• RQ3 グローバル制約（一貫性および推移性）を伴う構造的予測は、エンドツーエンド抽出の精度を向上させられるか？
• RQ4 異なる構造的制約（例：一貫性対推移性）は、性能向上にどのように寄与しているか？
• RQ5 共同でのイベントおよび関係予測における主な失敗モードは何か。特にVAGUE関係や低信頼度のイベントに対しては？

主な発見

• 提案された共同モデルは、CAEVOベースラインと比較して、TB-Denseデータセット上でエンドツーエンドF1スコアを10%向上させた。
• MATRESデータセットでは、CogCompTimeベースラインと比較して6.8%のF1スコア向上を達成した。
• イベント-関係の一貫性制約が顕著に寄与し、TB-DenseではF1スコアを0.9%、MATRESでは1.0%向上させた。
• 推移性制約は最小限の向上をもたらしたと考えられ、BERTのコンテキストモデリング能力とNONE関係の存在が要因である。
• タイプ1の誤り（誤った非イベント）とタイプ2の誤り（非イベント同士の誤った正の関係）が最も頻発しており、イベント検出の信頼度の低さが主な要因であると示唆された。
• VAGUE関係は大きな課題であり、特にエンドツーエンド設定でNONEペアと組み合わさった場合、他の時系列関係と混同されがちである。