[论文解读] Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding

Rujun Han, Mengyue Liang+2 more|arXiv (Cornell University)|Apr 26, 2019

Topic Modeling参考文献 32被引用 9

一句话总结

本论文首次在尚未充分探索的CaTeRS和RED故事理解数据集上提出了基于神经网络的基线模型，利用上下文化的BERT嵌入显著提升了传统基于特征的模型性能。结果表明，BERT增强模型在捕捉长距离依赖关系和时间关系中的语境细微差别方面，优于基于GloVe的模型和标准语言学特征方法。

ABSTRACT

Learning causal and temporal relationships between events is an important step towards deeper story and commonsense understanding. Though there are abundant datasets annotated with event relations for story comprehension, many have no empirical results associated with them. In this work, we establish strong baselines for event temporal relation extraction on two under-explored story narrative datasets: Richer Event Description (RED) and Causal and Temporal Relation Scheme (CaTeRS). To the best of our knowledge, these are the first results reported on these two datasets. We demonstrate that neural network-based models can outperform some strong traditional linguistic feature-based models. We also conduct comparative studies to show the contribution of adopting contextualized word embeddings (BERT) for event temporal relation extraction from stories. Detailed analyses are offered to better understand the results.

研究动机与目标

• 在两个尚未充分探索的故事叙事数据集（CaTeRS和RED）上建立强大的神经网络基线，用于事件时间关系抽取。
• 比较使用上下文化嵌入（BERT）的神经网络模型与传统基于特征的模型（如CAEVO）在时间关系抽取中的性能表现。
• 分析上下文化词表示在提升叙事文本中长距离依赖关系和上下文敏感时间关系建模方面的贡献。
• 首次报告CaTeRS和RED数据集上事件时间关系抽取的结果，填补故事理解研究中的关键空白。

提出的方法

• 采用基于BiLSTM的神经网络分类器，通过拼接词嵌入和词性标注（POS）嵌入来处理来自同一句或相邻句子的事件对。
• 将上下文化的BERT嵌入作为输入表示，不进行微调，使用最后一层的输出来捕捉每个标记的双向上下文信息。
• 将BiLSTM的最终隐藏状态（每个事件的前向和后向）与语言学特征（如词元距离）拼接，形成联合表示以用于分类。
• 将组合后的表示输入单层MLP分类器，通过在所有可能的关系类型上使用softmax来预测时间关系。
• 将神经模型与最先进的基于特征的CAEVO系统进行比较，使用相同的评估协议在CaTeRS和RED数据集上进行测试。
• 开展消融研究和定性分析，以分离BERT嵌入与静态嵌入（如GloVe）的影响，并分析失败案例。

实验结果

研究问题

• RQ1 在故事数据集上，基于神经网络的模型（使用上下文化嵌入BERT）与传统基于特征的模型（如CAEVO）在事件时间关系抽取中的表现如何比较？
• RQ2 BERT嵌入在处理事件对相距较远（如跨越多个句子）时，对性能的提升程度如何？
• RQ3 上下文化表示在增强对依赖语义上下文的微妙时间关系（如重叠或包含）的检测方面，具体发挥了哪些作用？
• RQ4 静态嵌入（如GloVe）在哪些特定失败案例中表现不佳，BERT嵌入又是如何解决这些问题的？
• RQ5 当与深度上下文表示结合时，语言学特征（如词元距离）在神经模型中的贡献如何？

主要发现

• 使用BERT嵌入增强的神经网络模型在CaTeRS和RED两个数据集上，F1分数显著高于基线CAEVO基于特征的模型。
• BERT模型在长距离事件对上的表现优于基于GloVe的模型，证明其在长距离依赖关系建模方面具有优越性。
• 定性分析表明，BERT能正确识别复杂语境下的时间关系（如'awoke'期间的'Independence Day'），而GloVe因缺乏上下文信息而失败。
• 消融研究证实，上下文化表示是性能提升的关键因素，即使在保持语言学特征不变的情况下，BERT仍能提升准确率。
• GloVe的失败案例通常源于事件持续时间或时态的歧义，而BERT通过动态、上下文敏感的表示解决了这些问题。
• 本研究首次报告了CaTeRS和RED数据集上的结果，为未来故事理解与事件关系抽取研究设立了强有力的基线。