[论文解读] From Unstructured Text to Causal Knowledge Graphs: A Transformer-Based Approach

Scott L. Friedman, Ian Magnusson+2 more|arXiv (Cornell University)|Feb 23, 2022

Semantic Web and Ontologies被引用 5

一句话总结

本文提出 SpEAR，一种基于 Transformer 的 NLP 模型，可从非结构化文本中提取定性因果知识图谱，联合识别实体、因果关系（包括方向、大小和限定词），以及基于 WordNet 的词义。该模型在科学和民族志文本中通过图遍历实现准确提取与实用推理，尽管存在语言歧义，仍取得了有希望的 F1 分数。

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). Extracting and representing these diverse causal relations are critical for cognitive systems that operate in domains spanning from scientific discovery to social science. This paper presents a transformer-based NLP architecture that jointly extracts knowledge graphs including (1) variables or factors described in language, (2) qualitative causal relationships over these variables, (3) qualifiers and magnitudes that constrain these causal relationships, and (4) word senses to localize each extracted node within a large ontology. We do not claim that our transformer-based architecture is itself a cognitive system; however, we provide evidence of its accurate knowledge graph extraction in real-world domains and the practicality of its resulting knowledge graphs for cognitive systems that perform graph-based reasoning. We demonstrate this approach and include promising results in two use cases, processing textual inputs from academic publications, news articles, and social media.

研究动机与目标

• 开发一种自动从非结构化自然语言中提取结构化因果知识的方法，包括实体、因果关系及其约束条件。
• 以定性语义（如 q+、q−、intent+、teleological）表示因果关系，用于认知推理系统。
• 通过上下文敏感的词义消歧，将提取的节点与本体（WordNet）关联，以提升推理能力。
• 评估提取的知识图谱在下游推理任务（如图遍历和因果推断）中的实用性。
• 在真实世界领域（包括科学主张和民族志叙述）中展示该方法的有效性。

提出的方法

• SpEAR 模型是一种基于 BERT 的微调架构，源自 SpERT，专为联合实体与关系抽取并具备上下文理解能力而设计。
• 它联合预测：(1) 实体（变量或因素），(2) 定性因果关系（如 q+、q−、intent+、teleological），(3) 限定词（大小、时间、位置），以及 (4) 每个节点的 WordNet 词义。
• 词义消歧作为后处理步骤，使用上下文敏感嵌入实现，而非在解析过程中进行。
• 模型采用多任务学习，同时预测关系与属性，以提升知识图谱构建过程中的连贯性与一致性。
• 提取的知识表示为有向、带属性的图，其中节点标注为实体与词义，边编码因果语义及限定词。
• 通过基于模式的查询（如“从母亲吃 X 到婴儿出现 Y 的所有因果路径”）实现图遍历，以支持对间接效应的推理。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否从非结构化文本中准确提取定性因果关系，包括方向、大小和时间约束？
• RQ2 上下文敏感的 NLP 模型在多大程度上能为因果图中提取的实体推断出本体化锚定的词义（如 WordNet）？
• RQ3 所生成的因果知识图谱能否支持实际推理任务，如路径遍历与因果推断？
• RQ4 该模型在多样化文本类型（包括科学主张和具有文化特异性因果信念的民族志叙述）上的表现如何？
• RQ5 当前 NLP 模型在处理因果语言中的歧义与模糊表达方面存在哪些局限性，这对下游推理有何影响？

主要发现

• 尽管存在数据稀疏性和语言歧义，SpEAR 模型在 SciClaim 数据集和民族志语料库上仍取得了有希望的 F1 分数。
• 该系统成功提取并表示了复杂的因果结构，包括定性增加（q+）、减少（q−）、时间限定词（如“从 2 月 5 日起”）和大小修饰语。
• 基于模式的查询实现图遍历，揭示了有意义的因果路径，例如在民族志文本中将母亲的饮食行为与儿童健康结果关联。
• 即使在科学上未经验证的情况下，该模型仍能捕捉到具有文化特异性的因果信念（如“吃芒果会导致腹泻”），展示了其在描述性心理模型分析中的实用性。
• 尽管在区分抽象论元类型（如频率与可能性）方面存在局限，当前表示方法仍支持认知系统中的实用推理。
• 该方法揭示了预训练模型会继承训练数据中的偏见，凸显了未来工作中需对模型进行仔细评估并可能实施去偏处理。