[论文解读] CO-NNECT: A Framework for Revealing Commonsense Knowledge Paths as Explicitations of Implicit Knowledge in Texts

Maria Becker, Katharina Korfhage+2 more|arXiv (Cornell University)|May 7, 2021

Topic Modeling参考文献 26被引用 5

一句话总结

CO-NNECT 提出了一种动态框架，结合在 ConceptNet 上微调的关系分类与目标预测模型，生成高质量、显式的常识知识路径——涵盖单跳与多跳路径——以揭示文本中句子之间的隐含知识。该方法通过在论辩数据集上进行人工与自动评估，证明其生成的路径比静态知识图谱更具相关性、可解释性与上下文相关性。

ABSTRACT

In this work we leverage commonsense knowledge in form of knowledge paths to establish connections between sentences, as a form of explicitation of implicit knowledge. Such connections can be direct (singlehop paths) or require intermediate concepts (multihop paths). To construct such paths we combine two model types in a joint framework we call Co-nnect: a relation classifier that predicts direct connections between concepts; and a target prediction model that generates target or intermediate concepts given a source concept and a relation, which we use to construct multihop paths. Unlike prior work that relies exclusively on static knowledge sources, we leverage language models finetuned on knowledge stored in ConceptNet, to dynamically generate knowledge paths, as explanations of implicit knowledge that connects sentences in texts. As a central contribution we design manual and automatic evaluation settings for assessing the quality of the generated paths. We conduct evaluations on two argumentative datasets and show that a combination of the two model types generates meaningful, high-quality knowledge paths between sentences that reveal implicit knowledge conveyed in text.

研究动机与目标

• 为解决自然语言处理中常识知识路径缺乏系统性评估的问题，特别是阐明句子之间隐含知识的挑战。
• 开发一种框架，结合关系分类的精确性与目标预测的生成能力，以构建有意义的知识路径。
• 在下游任务性能之外评估路径质量，结合人工标注与自动指标，与标准隐含知识标注进行对比。
• 证明基于微调语言模型动态生成的路径在捕捉隐含文本关联方面，优于静态知识图谱，在相关性与具体性方面表现更优。

提出的方法

• 该框架整合两类模型：COREC-LM，一种在 ConceptNet 上微调的多标签关系分类器，用于预测概念之间的直接（单跳）关系。
• 采用 COMET，一种预训练的 Transformer 模型，根据源概念和关系生成中间或目标概念，通过前向链式推理实现多跳路径构建。
• 知识路径在推理时动态生成，实现对静态 ConceptNet 的泛化，而非依赖预存的三元组。
• 框架采用联合推理：关系分类识别直接链接，目标预测通过中间节点扩展路径。
• 通过人工标注路径的相关性以及自动相似性指标（Cosim、Bert Score）对比生成路径与标准隐含知识标注，开展评估。
• 与使用静态 ConceptNet 路径的基线模型对比，以凸显动态、上下文感知路径生成的优势。

实验结果

研究问题

• RQ1 结合关系分类与目标预测的联合框架，是否能生成比静态知识源更具意义与相关性的常识知识路径？
• RQ2 动态生成的知识路径在相关性与语义相似性方面，与标准隐含知识标注相比如何？
• RQ3 Cosim 与 Bert Score 等自动评估指标在多大程度上与人类对路径质量与相关性的判断相关？
• RQ4 在 ConceptNet 上微调语言模型是否能提升路径质量，相较于纯检索式或静态知识图谱方法？
• RQ5 该框架能否生成可解释且上下文恰当的多跳路径，以显式揭示论辩性文本中句子之间的隐含关联？

主要发现

• CO-NNECT 通过结合 COREC-LM 与 COMET，在生成与人工标注的隐含知识对齐的知识路径方面表现最佳，优于单一模型及静态 ConceptNet 基线。
• 在 IKAT 数据集（设置 b）上，框架的 Cosim/F1 得分为 .70，Bert Score/F1 得分为 .81，表明与标准自然语言解释的隐含知识高度一致。
• 人工评估显示，Cosim 与 Bert Score 等自动指标并不总与人类对相关性的判断相关，凸显了仅依赖自动评估的局限性。
• 即使经过关系替换，静态 ConceptNet 路径仍存在严重问题，因存在大量模糊关系（如 IKAT 中 56.6% 为 RelatedTo），导致噪声多、可解释性差。
• COREC-LM 与 COMET 在 Co-Nnect 中的结合，生成的路径质量高于任一模型单独使用，体现了互补优势：前者在直接关系上具备高精度，后者在多跳推理中更具灵活性。
• 生成的路径有效显式化了隐含知识，人工标注显示其相关性评分高，适用于下游任务，如论辩分类与带常识约束的语言生成。