[论文解读] Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering

Peifeng Wang, Nanyun Peng+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 41被引用 12

一句话总结

本文提出了一种基于微调GPT-2的有识路径生成器，用于在常识问答任务中动态生成连接问题实体与答案实体的新型多跳关系路径，从而克服知识图谱稀疏性问题。该方法在静态知识图谱基线基础上将问答准确率提升最高达6%，尤其在低数据设置下表现显著，且生成的路径具有可解释性、相关性与新颖性，无需对生成器进行微调。

ABSTRACT

Commonsense question answering (QA) requires background knowledge which is not explicitly stated in a given context. Prior works use commonsense knowledge graphs (KGs) to obtain this knowledge for reasoning. However, relying entirely on these KGs may not suffice, considering their limited coverage and the contextual dependence of their knowledge. In this paper, we augment a general commonsense QA framework with a knowledgeable path generator. By extrapolating over existing paths in a KG with a state-of-the-art language model, our generator learns to connect a pair of entities in text with a dynamic, and potentially novel, multi-hop relational path. Such paths can provide structured evidence for solving commonsense questions without fine-tuning the path generator. Experiments on two datasets show the superiority of our method over previous works which fully rely on knowledge from KGs (with up to 6% improvement in accuracy), across various amounts of training data. Further evaluation suggests that the generated paths are typically interpretable, novel, and relevant to the task.

研究动机与目标

• 为解决静态常识知识图谱（KG）在常识问答中的稀疏性与上下文表达局限性问题。
• 实现在知识图谱中缺失链接的情况下，仍能动态生成问题与答案实体之间的多跳路径。
• 通过利用预训练语言模型对知识图谱事实进行泛化，增强现有框架的知识路径生成能力，从而提升问答性能。
• 生成可解释、新颖且与任务相关的路径，作为推理的结构化证据，且无需对生成器进行微调。

提出的方法

• 使用规则与约束从静态常识知识图谱（ConceptNet）中采样信息丰富且相关的随机游走路径，以保证路径质量。
• 在采样路径上微调GPT-2，使其学习生成连接问题与答案实体的多跳关系路径。
• 通过单次前向传播端到端生成路径，使模型能够外推至现有知识图谱事实之外。
• 将生成的路径聚合为知识嵌入，并与文本编码器生成的上下文嵌入进行融合，用于分类任务。
• 实现路径生成器的三种变体：Global（全图上下文）、Local（有限上下文）和Scratch（无外部KG输入），以研究图信息的作用。
• 将路径生成器集成至通用问答框架中，评估其在下游常识问答任务中的影响。

实验结果

研究问题

• RQ1 能否有效微调语言模型，以生成填补静态知识图谱中缺失链接的新型多跳关系路径，用于常识问答？
• RQ2 当问答系统通过动态生成路径增强时，其性能相较于仅依赖静态知识图谱事实的系统有何提升？
• RQ3 在低资源训练设置下，生成的路径在多大程度上具备可解释性、新颖性与相关性？
• RQ4 全局图上下文与局部图上下文的引入如何影响生成路径的质量与实用性？
• RQ5 该路径生成器能否作为即插即用模块，增强多种问答框架，而无需进行任务特定的微调？

主要发现

• 所提出的路径生成器在仅依赖静态知识图谱的基线模型基础上，将常识问答准确率最高提升6%，且在低数据场景下增益最为显著。
• 该方法对有限训练数据表现出强鲁棒性，随着训练数据减少，准确率增益反而提升，表明路径生成器具有强大的归纳偏差。
• 人工评估确认生成的路径具有可解释性与相关性，示例显示其能通过有效推理步骤建立如“harmony”与“making peace”之间的逻辑关联。
• 自动评估显示，生成的路径包含大量原始知识图谱中不存在的新型有效三元组，例如“cave” → “IsA” → “geological_feature”。
• 使用全图上下文的Global变体在性能上优于Local与Scratch变体，表明更广泛的图结构信息有助于提升路径质量。
• 路径生成器在复杂推理场景中能正确生成1跳与2跳路径，例如将“film”连接至“being entertained”，将“harmony”连接至“making peace”，同时避免错误或模糊的关系。