[论文解读] A Context-Dependent Gated Module for Incorporating Symbolic Semantics into Event Coreference Resolution

Tuan Lai, Heng Ji+4 more|arXiv (Cornell University)|Apr 4, 2021

Topic Modeling参考文献 38被引用 4

一句话总结

该论文提出了一种上下文相关的门控模块（CDGM），通过SpanBERT将噪声符号特征（如事件情态、极性、时态）自适应地整合到事件共指消解中。通过根据上下文动态加权符号特征，并在训练过程中应用噪声正则化，该方法在ACE 2005上取得了59.76的F1分数，在KBP 2016上取得了58.41的F1分数，显著优于基线模型和简单的拼接策略。

ABSTRACT

Event coreference resolution is an important research problem with many applications. Despite the recent remarkable success of pretrained language models, we argue that it is still highly beneficial to utilize symbolic features for the task. However, as the input for coreference resolution typically comes from upstream components in the information extraction pipeline, the automatically extracted symbolic features can be noisy and contain errors. Also, depending on the specific context, some features can be more informative than others. Motivated by these observations, we propose a novel context-dependent gated module to adaptively control the information flows from the input symbolic features. Combined with a simple noisy training method, our best models achieve state-of-the-art results on two datasets: ACE 2005 and KBP 2016.

研究动机与目标

• 为解决将噪声符号特征（如事件情态、极性、时态）整合到事件共指消解中的挑战，这些特征在自动预测时往往不可靠。
• 克服固定特征融合方法（如拼接）的局限性，后者不考虑上下文或可靠性，对所有特征一视同仁。
• 开发一种可泛化的框架，能够基于上下文线索选择性地利用信息丰富的符号特征，提升模型鲁棒性与性能。
• 证明结合上下文感知特征门控与噪声正则化可增强模型泛化能力，尤其在符号特征预测精度较低时表现更优。

提出的方法

• 引入一种上下文相关的门控模块（CDGM），通过可学习的门控机制，根据上下文动态控制符号特征的信息流动。
• 将符号特征（如情态、极性）嵌入为可学习向量，并通过CDGM处理，该模块计算类似注意力的权重，以调节其对最终表示的贡献。
• CDGM基于提及的上下文表示，使用前馈网络计算符号特征表示的上下文感知加权和。
• 在训练过程中应用一种简单的噪声正则化技术，通过随机破坏符号特征来提升对预测错误的鲁棒性。
• 模型使用SpanBERT作为上下文编码器，并在计算共指预测的成对相似性之前，通过CDGM将提及表示与符号特征相结合。
• 端到端模型在共指消解和符号特征预测任务上进行联合训练，但主要目标是通过更优的符号特征融合来提升共指性能。

实验结果

研究问题

• RQ1 基于上下文相关性的门控机制是否能通过根据上下文相关性选择性地利用符号特征，从而提升事件共指消解性能？
• RQ2 不同类型的符号特征（如情态与子类型）的性能表现如何差异？动态模块是否能缓解噪声特征的影响？
• RQ3 在训练过程中应用噪声正则化是否能增强模型在符号特征预测不准确时的鲁棒性？
• RQ4 统一框架能否在不依赖任务特定架构的前提下，有效整合多样化的符号特征（如情态、极性、时态）？
• RQ5 与简单的拼接或多任务学习相比，该方法在共指消解准确率方面表现如何？

主要发现

• 所提出的CDGM结合噪声正则化在ACE 2005数据集上取得了59.76的SOTA F1分数，显著优于基线SpanBERT模型。
• 在情态特征上提升了3.73个百分点，在通用性特征上提升了3.12个百分点，表明对噪声符号特征有显著增益。
• CDGM在所有符号特征类型上均优于简单拼接，尤其在预测准确率较低的特征上（如情态、通用性）提升最为明显。
• 在KBP 2016上取得了58.41的F1分数，表明该方法在不同数据集和标注规范下具有强大的泛化能力。
• 多任务学习（联合特征预测与共指消解）在ACE 2005上仅取得56.5的F1分数，凸显了所提出的门控融合方法相比联合训练的优越性。
• 定性分析表明，模型能通过利用情态、极性等符号特征正确识别共指关系，这些特征可区分语义相似但语境不同的事件。