[论文解读] Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey

Nabiha Asghar|arXiv (Cornell University)|May 25, 2016

Natural Language Processing Techniques参考文献 49被引用 45

一句话总结

这篇全面的综述回顾了过去30年自然语言中自动因果关系抽取的研究，对比了基于规则和机器学习（ML）的方法。它强调了机器学习在处理隐含关系和领域泛化方面的优势，同时指出了标准化评估的缺失，以及需要采用深度学习和集成方法以提高对模糊、依赖上下文的因果关系的准确性。

ABSTRACT

Automatic extraction of cause-effect relationships from natural language texts is a challenging open problem in Artificial Intelligence. Most of the early attempts at its solution used manually constructed linguistic and syntactic rules on small and domain-specific data sets. However, with the advent of big data, the availability of affordable computing power and the recent popularization of machine learning, the paradigm to tackle this problem has slowly shifted. Machines are now expected to learn generic causal extraction rules from labelled data with minimal supervision, in a domain independent-manner. In this paper, we provide a comprehensive survey of causal relation extraction techniques from both paradigms, and analyse their relative strengths and weaknesses, with recommendations for future work.

研究动机与目标

• 提供过去三十年来自然语言处理中因果关系抽取技术的全面综述。
• 对比非统计方法（基于规则）与统计方法（机器学习）的优缺点。
• 识别关键挑战，如隐含因果性、专业领域中的数据稀疏性，以及缺乏标准化评估数据集。
• 推荐未来研究方向，包括深度学习、集成方法，以及与语义关系分类器的整合。

提出的方法

• 对150余项因果关系抽取研究进行系统性文献综述，重点关注非统计与统计范式。
• 根据句法形式对因果关系类型进行分类：副词连接（如therefore）、介词连接（如because of）、从句从属结构（如because）、结果性结构、使役动词，以及具有因果意义的形容词/副词。
• 分析基于机器学习的系统中的特征工程，包括依存句法分析、语义词典（WordNet、VerbNet、FrameNet）和词嵌入。
• 使用精确率、召回率和F1分数评估性能，特别关注隐含关系检测和跨领域泛化能力。
• 对比人工模式匹配技术与通过SVM及其他分类器实现的自动特征学习。
• 识别现有研究的局限性，如缺乏实证比较和标准化数据集。

实验结果

研究问题

• RQ1 基于规则和基于机器学习的方法在从文本中抽取显性和隐含因果关系方面的能力有何不同？
• RQ2 在不同语言形式和语言中，表示因果关系的关键句法和语义模式是什么？
• RQ3 为什么当前系统在处理因果表达中的隐含因果性和上下文依赖性模糊性方面存在困难？
• RQ4 与基于规则的系统相比，机器学习模型在跨领域泛化方面的能力如何？
• RQ5 哪些最有效的特征工程策略和学习算法能够提升因果关系抽取的性能？

主要发现

• 基于机器学习的方法在检测隐含因果关系方面优于基于规则的方法，后者常因人工模式匹配而遗漏此类关系。
• 使用WordNet、VerbNet和FrameNet等语义词典显著提升了特征表示和模型性能。
• 尽管已有进展，但大多数系统仍缺乏标准化评估，导致不同研究之间精确率、召回率和F1分数的直接比较困难。
• 深度神经网络和递归神经网络在捕捉复杂、上下文敏感的因果依赖关系方面展现出强大潜力。
• 集成学习，以及将因果关系抽取器与通用语义关系分类器（如SemEval 2010 Task 8）结合，可能有助于解决模糊性并提升消歧能力。
• 即使采用迁移学习和预训练嵌入，领域特定系统仍因数据稀缺和缺乏标注训练数据而面临挑战。