[论文解读] Extracting Qualitative Causal Structure with Transformer-Based NLP

Scott Friedman, Ian Magnusson+1 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling参考文献 15被引用 5

一句话总结

本文提出 SpEAR，一种基于 Transformer 的 NLP 模型，可从自然语言中联合提取实体、定性因果关系（例如 q+、q−、forPurpose、hasFunction）以及约束属性（例如幅度、时间限定词）。在科学主张和民族志文本上的评估显示，尽管数据集较小，该模型仍取得了令人满意的 F1 分数，证明其在下游推理和知识图谱中的因果结构提取方面具有有效性。

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). This paper presents a transformer-based NLP architecture that jointly identifies and extracts (1) variables or factors described in language, (2) qualitative causal relationships over these variables, and (3) qualifiers and magnitudes that constrain these causal relationships. We demonstrate this approach and include promising results from in two use cases, processing textual inputs from academic publications, news articles, and social media.

研究动机与目标

• 开发一种自动识别和提取自然语言中定性因果关系的方法，包括方向性、单调性以及时间或幅度约束。
• 解决在日常语言和科学语言中使用上下文敏感的 NLP 模型表达复杂因果机制的挑战。
• 实现对提取的因果知识图谱的遍历，以探索民族志和科学文本中的心智模型与功能关系。
• 证明基于 Transformer 的模型能够在不依赖形式化本体论的情况下，有效捕捉异质性因果关系——包括定量、意图性和目的性因果关系。
• 通过结构化因果知识提取，支持下游应用，如科学主张评估、文献综合以及文化因果性分析。

提出的方法

• SpEAR 模型是一种基于 BERT 的微调架构，源自 SpERT，专为在多标签分类框架中联合提取实体、关系和属性而设计。
• 该模型识别三个核心组件：(1) 实体（变量或因素），(2) 定性因果关系（例如 q+、q−、forPurpose、hasFunction），以及 (3) 属性，如幅度、时间限定词和比较等级。
• 关系通过符号化模式定义：例如 ⟨a, q+, b⟩ 表示 a 的增加导致 b 的增加，而 ⟨a, forPurpose, b⟩ 表示意图性或目标导向的因果关系。
• 系统处理输入文本并输出一个知识图，其中节点代表实体，边代表带有相关限定词的因果关系，利用向量相似度和词干匹配实现路径遍历。
• 训练采用小规模人工标注的数据集进行监督微调，数据来源为科学出版物和民族志文献，评估方法为微平均 F1 分数。
• 实现了一个遍历系统，用于在提取的因果图中探索用户定义的源概念与目标概念之间的路径，通过修剪不完整或冗余的路径以提高可读性。

实验结果

研究问题

• RQ1 基于 Transformer 的 NLP 模型能否从非结构化自然语言中准确提取定性因果关系，包括方向性、单调性以及时间约束？
• RQ2 此类模型在科学和民族志等多样化领域中，能否联合识别实体、因果关系及约束属性（如幅度、位置）？
• RQ3 即使缺乏正式本体约束，提取的因果知识图是否能支持有意义的路径遍历与推理？
• RQ4 当训练数据稀疏且关系在语言上相距较远时，F1 分数等性能指标在不同关系类型（如 q+、q−）上的表现如何变化？
• RQ5 模型的输出能否支持实际的下游应用，如科学主张评估或文化因果性制图？

主要发现

• SpEAR 模型在 51 个科学主张的小型测试集上取得了令人满意的 F1 分数，微平均性能表明其在提取实体、关系和属性方面具有强大能力。
• q+ 和 q− 关系的表现最低，主要原因是训练支持不足，以及文本中头实体与尾实体之间的语言距离较远。
• 尽管训练数据有限，该模型仍有效提取了定性因果结构，包括幅度和时间约束等复杂限定词，这在科学和民族志文本的输出中均有体现。
• 遍历系统成功识别出有意义的因果路径（如从 'pray' 到 'pregnant'），这些路径反映了文化基础的目的与意图，验证了模型在探索心智模型方面的实用性。
• 尽管未基于正式本体论，提取的知识图仍能实现连贯且可解释的跨异质性概念的遍历，支持粗粒度推理。
• 结果支持如下主张：上下文敏感的 Transformer 模型即使在极少监督的情况下，也能有效从多样化语言来源中提取并表示定性因果结构。