[论文解读] On Event Causality Detection in Tweets

Humayun Kayesh, Md. Saiful Islam+1 more|arXiv (Cornell University)|Jan 11, 2019

Complex Network Analysis Techniques参考文献 20被引用 6

一句话总结

本文提出了一种新颖的事件上下文词扩展技术，利用新闻文章中的常识背景知识来增强推文事件因果关系检测的特征表示。通过将该方法集成到前馈神经网络中，该方法实现了64.59%的F1得分，相较于现有方法在F1得分上至少提升306%，在召回率上至少提升570%。

ABSTRACT

Nowadays, Twitter has become a great source of user-generated information about events. Very often people report causal relationships between events in their tweets. Automatic detection of causality information in these events might play an important role in predictive event analytics. Existing approaches include both rule-based and data-driven supervised methods. However, it is challenging to correctly identify event causality using only linguistic rules due to the highly unstructured nature and grammatical incorrectness of social media short text such as tweets. Also, it is difficult to develop a data-driven supervised method for event causality detection in tweets due to insufficient contextual information. This paper proposes a novel event context word extension technique based on background knowledge. To demonstrate the effectiveness of our proposed event context word extension technique, we develop a feed-forward neural network based approach to detect event causality from tweets. Extensive experiments demonstrate the superiority of our approach.

研究动机与目标

• 为解决由于语言变异性及缺乏上下文信息，导致在非结构化、非正式的推文中检测事件间因果关系的挑战。
• 通过利用常识背景知识增强特征表示，改进基于监督学习的因果关系检测。
• 开发一种神经网络模型，利用扩展的事件上下文词更好地捕捉短篇社交媒体文本中的因果关系。
• 评估上下文词扩展在因果关系检测性能上的有效性，特别是在低资源、噪声较大的推文环境中。
• 证明通过背景知识增强特征能显著提升模型在未见推文数据上的泛化能力和性能。

提出的方法

• 使用预定义的因果提示词（如“because”、“due to”）从新闻文章构建因果网络，以提取常识背景知识。
• 通过从预先构建的因果网络中检索语义相关词汇，扩展推文中候选原因和结果事件的关键词。
• 使用前馈神经网络对事件对之间的因果关系进行分类，输入特征通过扩展的上下文词增强。
• 应用词嵌入和位置编码以捕捉推文文本中的句法和语义结构。
• 通过调整超参数（学习率 = 0.1，批量大小 = 10，训练迭代150次）来防止过拟合并提升收敛性。
• 使用标准指标（准确率、精确率、召回率、F1得分）和ROC曲线评估不同扩展设置（0-、2-、3-词扩展）下的性能。

实验结果

研究问题

• RQ1 来自新闻文章的背景知识能否有效增强推文中因果关系检测的特征表示？
• RQ2 扩展的上下文词数量在多大程度上影响神经网络在推文事件因果关系检测中的性能？
• RQ3 所提出的上下文词扩展技术是否优于仅使用事件关键词或简单特征工程的基线方法？
• RQ4 常识知识在多大程度上缓解了短篇、非正式社交媒体文本中上下文不足的挑战？
• RQ5 所提出的方法是否具备对未见推文数据的泛化能力，与现有最先进因果关系检测系统相比表现如何？

主要发现

• 采用2词上下文扩展的所提方法取得了最高的F1得分64.59%，显著优于无扩展的基线方法。
• 与最先进方法FFNN+Position相比，2词扩展设置使召回率提升570%，F1得分提升306%。
• 当扩展超过3个词时性能急剧下降，表明对外部知识的过度依赖会稀释原始事件信号。
• 2词扩展方法的曲线下面积（AUC）高于0词扩展方法，证实了其更强的判别能力。
• 使用上下文词扩展增强特征训练的模型在未见测试数据上表现出更好的泛化能力，表明对推文中的噪声和非正式性具有鲁棒性。
• 在所有评估指标上，该方法均优于现有方法，如Commonsense [7]、Commonsense+Multi-word [10] 和 FFNN+Position [11]。