[论文解读] Fusing Context Into Knowledge Graph for Commonsense Question Answering

Yichong Xu, Chenguang Zhu+4 more|arXiv (Cornell University)|Dec 9, 2020

Topic Modeling参考文献 26被引用 8

一句话总结

该论文提出DEKCOR模型，通过融合维基词典中的上下文描述与知识图谱（ConceptNet），并将结果输入预训练语言模型（ALBERT），以提升常识推理问答性能。通过整合实体定义和相关知识三元组，该模型在CommonsenseQA上达到最先进性能（单模型+1.2%，集成模型+3.8%），并在OpenBookQA上取得非生成模型中的最佳结果。

ABSTRACT

Commonsense question answering (QA) requires a model to grasp commonsense and factual knowledge to answer questions about world events. Many prior methods couple language modeling with knowledge graphs (KG). However, although a KG contains rich structural information, it lacks the context to provide a more precise understanding of the concepts. This creates a gap when fusing knowledge graphs into language modeling, especially when there is insufficient labeled data. Thus, we propose to employ external entity descriptions to provide contextual information for knowledge understanding. We retrieve descriptions of related concepts from Wiktionary and feed them as additional input to pre-trained language models. The resulting model achieves state-of-the-art result in the CommonsenseQA dataset and the best result among non-generative models in OpenBookQA.

研究动机与目标

• 解决知识图谱（KG）中缺乏上下文描述的问题，该问题限制了常识推理过程中对实体的精确理解。
• 通过整合来自维基词典的外部描述性知识，丰富知识图谱中实体的表征，以改进常识问答（QA）性能。
• 提升预训练语言模型对结构化知识（来自ConceptNet）与非结构化上下文（来自Wiktionary）的融合能力，以增强推理性能。
• 在不依赖大型生成模型的前提下，实现在基准常识问答数据集上的最先进结果。

提出的方法

• 提取问题和选项中的概念，然后在ConceptNet中检索它们之间的直接边；若不存在，则选择与选项实体相关性最高的三元组。
• 使用多标准文本匹配技术从Wiktionary中检索精确的实体定义，以确保语义相关性。
• 将问题、候选选项、选定的知识三元组以及实体描述输入ALBERT语言模型，用于答案打分。
• 通过使用不同随机种子初始化的多个模型进行集成推理，以提高鲁棒性与准确性。
• 在CommonsenseQA的训练集上对OpenBookQA模型进行微调，以提升其在目标数据集上的性能。
• 应用消融研究，以分离实体描述与知识三元组对最终性能的独立贡献。

实验结果

研究问题

• RQ1 来自维基词典的外部实体描述能否提升知识图谱增强型QA模型中的常识推理能力？
• RQ2 上下文描述的整合如何影响预训练语言模型在常识问答中的性能表现？
• RQ3 ConceptNet中的知识三元组与Wiktionary中的实体描述在答案准确率上的独立贡献程度如何？
• RQ4 非生成模型是否能在不依赖大型T5生成模型的前提下，实现在OpenBookQA上的最先进性能？
• RQ5 当与知识融合结合时，底层预训练语言模型的选择是否显著影响最终的QA性能？

主要发现

• 在CommonsenseQA上，DEKCOR使用单模型相比之前最先进方法提升1.2个百分点，使用集成推理则提升3.8个百分点。
• 在OpenBookQA上，DEKCOR在所有非生成模型中表现最佳，仅低于两个大规模T5生成模型。
• 消融研究显示，在CommonsenseQA的开发集上，引入Wiktionary实体描述可使准确率提升2.7%，而使用知识三元组可带来额外4.4%的增益。
• 案例研究表明，富含上下文的描述能显著增强推理能力，例如正确识别蝙蝠为食虫动物，从而排除‘吃虫子’作为正确答案。
• 不同预训练模型的性能排名为：BERT < RoBERTa < XLNet < ALBERT < T5，表明模型架构选择对最终准确率有显著影响。
• 在CommonsenseQA训练数据上对OpenBookQA模型进行预训练可带来可测量的性能提升，凸显了相关常识问答任务间的数据迁移优势。