[论文解读] Dynamic Knowledge Graph Construction for Zero-shot Commonsense Question Answering

Antoine Bosselut, Yejin Choi|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 29被引用 38

一句话总结

本文提出了一种用于零样本常识问答的动态知识图谱构建方法，通过生成式神经常识模型按需生成上下文相关的知识。通过将推理形式化为在这些动态构建的图谱上的概率推理，该方法在SocialIQa和StoryCommonsense数据集上显著优于预训练语言模型以及使用知识模型直接评估答案的方法。

ABSTRACT

Understanding narratives requires dynamically reasoning about the implicit causes, effects, and states of the situations described in text, which in turn requires understanding rich background knowledge about how the social and physical world works. At the core of this challenge is how to access contextually relevant knowledge on demand and reason over it. In this paper, we present initial studies toward zero-shot commonsense QA by formulating the task as probabilistic inference over dynamically generated commonsense knowledge graphs. In contrast to previous studies for knowledge integration that rely on retrieval of existing knowledge from static knowledge graphs, our study requires commonsense knowledge integration where contextually relevant knowledge is often not present in existing knowledge bases. Therefore, we present a novel approach that generates contextually relevant knowledge on demand using generative neural commonsense knowledge models. Empirical results on the SocialIQa and StoryCommonsense datasets in a zero-shot setting demonstrate that using commonsense knowledge models to dynamically construct and reason over knowledge graphs achieves performance boosts over pre-trained language models and using knowledge models to directly evaluate answers.

研究动机与目标

• 为解决在零样本问答中访问上下文相关的常识知识的挑战，因为所需知识通常无法在静态知识库中找到。
• 开发一种按需生成相关常识知识的方法，而非依赖预先存在的静态知识图谱。
• 通过将动态知识图谱构建与生成知识上的概率推理相结合，提升零样本常识推理能力。
• 展示生成式常识模型在为下游问答任务构建上下文感知知识图谱方面的有效性。

提出的方法

• 该方法将零样本常识问答形式化为在动态构建的知识图谱上的概率推理。
• 它利用生成式神经常识知识模型实时生成上下文相关的知识条目，而非从静态知识库中检索。
• 生成的知识被组织为知识图谱，以捕捉与输入叙事相关的因果、意图和状态关系。
• 在动态图谱上执行概率推理以推导答案，从而实现对隐含世界知识的推理。
• 该方法与预训练语言模型集成，以将推理建立在上下文叙事输入的基础上。
• 该框架在零样本设置下，使用SocialIQa和StoryCommonsense数据集进行端到端的训练与评估。

实验结果

研究问题

• RQ1 动态生成的常识知识图谱是否能超越静态知识库检索，在零样本常识问答中实现性能提升？
• RQ2 与使用知识模型直接评分答案相比，对动态构建的知识图谱进行概率推理有多高效？
• RQ3 生成式常识模型在多大程度上能够提供现有知识库中不存在的上下文相关知识？
• RQ4 按需构建知识图谱是否能带来对隐含叙事状态和因果关系的更好推理？
• RQ5 在常识推理基准的零样本设置下，该方法与强基线相比表现如何？

主要发现

• 该动态知识图谱构建方法在SocialIQa和StoryCommonsense数据集上的零样本常识问答任务中，性能优于预训练语言模型。
• 使用生成模型构建上下文感知知识图谱，其推理效果优于直接使用知识模型评估答案的方法。
• 通过按需生成相关知识，该方法有效捕捉了叙事中的隐含因果和意图关系。
• 与静态知识库集成相比，对动态生成图谱进行概率推理能显著提高答案准确率。
• 该框架在零样本泛化方面表现出色，尤其在所需常识知识未存在于现有知识库的场景中。
• 实证结果证实，对于未见过的、上下文复杂的常识推理任务，动态知识生成比检索方法更有效。