[论文解读] Joint Constrained Learning for Event-Event Relation Extraction

Haoyu Wang, Muhao Chen+2 more|arXiv (Cornell University)|Oct 13, 2020

Natural Language Processing Techniques参考文献 37被引用 5

一句话总结

本文提出一种联合约束学习框架，通过在事件关系抽取中强制执行时间关系（Before/After）与子事件关系（Parent-Child）之间的逻辑一致性，提升模型性能。通过将传递性、对称性和合取等逻辑约束转化为可微分损失函数，该方法在无需联合标注数据的情况下，在TempRel与子事件关系任务上均优于当前最先进方法，显著提升性能，同时避免了昂贵的全局推理后处理步骤。

ABSTRACT

Understanding natural language involves recognizing how multiple event mentions structurally and temporally interact with each other. In this process, one can induce event complexes that organize multi-granular events with temporal order and membership relations interweaving among them. Due to the lack of jointly labeled data for these relational phenomena and the restriction on the structures they articulate, we propose a joint constrained learning framework for modeling event-event relations. Specifically, the framework enforces logical constraints within and across multiple temporal and subevent relations by converting these constraints into differentiable learning objectives. We show that our joint constrained learning approach effectively compensates for the lack of jointly labeled data, and outperforms SOTA methods on benchmarks for both temporal relation extraction and event hierarchy construction, replacing a commonly used but more expensive global inference process. We also present a promising case study showing the effectiveness of our approach in inducing event complexes on an external corpus.

研究动机与目标

• 解决事件复杂关系抽取中时间关系与子事件关系缺乏联合标注数据的问题。
• 通过在训练过程中施加声明性约束，提升模型在多种事件关系类型上的泛化能力与逻辑一致性。
• 用端到端可微分约束替代昂贵的全局推理步骤，确保关系间传递性与对称性。
• 实现在外部数据集上无需任务特定微调即可有效诱导事件复杂关系。
• 在单一、逻辑一致的学习框架下统一时间关系与层次关系。

提出的方法

• 该框架强制实施三类逻辑约束：时间与子事件关系中的标注一致性、对称性一致性与合取一致性。
• 通过可微分逻辑谓词的松弛方法，将逻辑规则转化为可微分损失函数，支持基于梯度的优化。
• 模型通过共享表示与约束感知目标，联合训练时间关系（TempRel）与子事件关系（subevent）抽取任务。
• 合取约束确保：若 e1 Before e2 且 e2 Parent-of e3，则 e1 Before e3，从而在训练中强制传递性推理。
• 将常识知识与任务特定监督信号整合到统一学习目标中，以提升泛化能力。
• 通过将逻辑一致性直接嵌入损失函数，避免全局推理，降低对后处理的依赖。

实验结果

研究问题

• RQ1 能否有效将逻辑约束嵌入神经模型，以实现联合事件关系抽取？
• RQ2 在时间关系与子事件关系中强制实施传递性与对称性一致性，是否能同时提升两类任务的性能？
• RQ3 在无需联合标注数据的情况下，联合学习框架是否能超越独立模型？
• RQ4 不同类型的约束（标注、对称性、合取）对性能提升的贡献程度如何？
• RQ5 该模型是否能在无需微调的情况下泛化至外部数据集，特别是在诱导完整事件复杂关系方面？

主要发现

• 联合约束学习模型在无需联合标注数据的情况下，于TempRel与子事件关系抽取基准上均达到当前最先进性能。
• 引入跨任务约束（合取）带来1.0–2.6%的绝对F1提升，证明了任务间一致性的价值。
• 加入常识知识带来额外0.8–1.2%的F1增益，表明其具有互补优势。
• 若移除约束学习而仅依赖全局推理，F1将下降2.6–12.3%，证明学习阶段的一致性至关重要。
• 在外部RED数据集上评估时，模型在TempRel上达到0.72 F1，在子事件关系上达到0.54 F1，展现出强大的泛化能力。
• 该方法能有效在未见数据上诱导出完整的事件复杂关系，如在RED数据集上的案例研究所示。