[论文解读] Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Haozhe Ji, Pei Ke+3 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 28被引用 10

一句话总结

本文提出了一种两阶段框架，通过首先从ConceptNet中的多跳推理路径中提取桥梁概念，然后利用这些概念引导基于预训练语言模型的解释生成，从而生成常识性解释。该方法在自动评估和人工评估中均优于最先进基线模型，通过将推理过程建立在外部知识之上，生成了更具信息量和忠实度的解释。

ABSTRACT

Commonsense explanation generation aims to empower the machine's sense-making capability by generating plausible explanations to statements against commonsense. While this task is easy to human, the machine still struggles to generate reasonable and informative explanations. In this work, we propose a method that first extracts the underlying concepts which are served as extit{bridges} in the reasoning chain and then integrates these concepts to generate the final explanation. To facilitate the reasoning process, we utilize external commonsense knowledge to build the connection between a statement and the bridge concepts by extracting and pruning multi-hop paths to build a subgraph. We design a bridge concept extraction model that first scores the triples, routes the paths in the subgraph, and further selects bridge concepts with weak supervision at both the triple level and the concept level. We conduct experiments on the commonsense explanation generation task and our model outperforms the state-of-the-art baselines in both automatic and human evaluation.

研究动机与目标

• 为解决为反常识陈述生成信息丰富且忠实的常识性解释的挑战。
• 克服神经序列到序列模型生成平庸或无信息量解释的局限性。
• 通过显式整合大规模知识图谱中的外部知识，提升对常识知识的忠实度。
• 识别并提取能够将陈述与合理解释相连接的有意义桥梁概念。
• 开发一种通过结构化推理路径和弱监督概念选择增强解释生成的框架。

提出的方法

• 使用输入陈述中的源概念从ConceptNet中检索多跳推理路径，并通过启发式方法修剪以保持覆盖范围的同时降低规模。
• 结合上下文信息与图感知信息，融合节点表示以提升子图表示能力。
• 设计了一种桥梁概念提取模型，对三元组进行打分，沿路径传播概率，并在三元组和概念两个层级上使用弱监督进行关键概念选择。
• 利用预训练语言模型（如GPT-2）通过同时依赖输入陈述和提取的桥梁概念来生成最终解释。
• 应用路径路由与概率传播，识别在推理链中充当逻辑中介的最相关概念。
• 整合文本与结构化知识，以指导生成语义上稳固、上下文恰当的解释。

实验结果

研究问题

• RQ1 我们如何为反常识陈述生成既信息丰富又忠实于常识知识的解释？
• RQ2 桥梁概念在将陈述与合理解释连接起来的过程中起到什么作用？
• RQ3 如何有效从知识图谱中的多跳推理路径中提取有意义的桥梁概念？
• RQ4 与端到端序列生成相比，弱监督概念选择能否提升生成解释的质量？
• RQ5 将知识图谱中的结构化知识整合进来，相比纯神经序列模型，如何提升解释生成效果？

主要发现

• 我们的模型在自动评估和人工评估指标上均优于所有强基线模型，包括GPT-2。
• 人工评估显示在合理性与信息量方面具有显著优势（p值 < 0.005），合理性与信息量的Fleiss’ kappa分别为0.429和0.433。
• 模型生成的解释包含更多新颖且相关的信息，例如澄清牙膏作为清洁剂的功能，而不仅仅是说明其不可食用。
• 错误分析显示在用词选择、避免重复或过度陈述方面仍存在持续挑战，100个案例中有26个在与GPT-2的成对比较中表现更差。
• 使用多跳路径与桥梁概念提取使模型能够生成更具逻辑基础、更不易产生幻觉的解释。
• 该框架成功识别并利用了关键概念，如“出售”、“使用”和“电影”，以构建连贯且上下文恰当的解释。