[论文解读] Fusing Context Into Knowledge Graph for Commonsense Reasoning.

Yichong Xu, Chenguang Zhu+4 more|arXiv (Cornell University)|Dec 9, 2020

Topic Modeling被引用 14

一句话总结

本文通过将维基词典中的外部实体描述注入预训练语言模型，提出了一种增强常识推理中知识图谱融合的方法。通过在三元组之外为图实体增添上下文描述，该模型在CommonsenseQA基准上取得了最先进性能，单模型准确率达到80.7%，集成模型达到83.3%，位居官方排行榜首位。

ABSTRACT

Commonsense reasoning requires a model to make presumptions about world events via language understanding. Many methods couple pre-trained language models with knowledge graphs in order to combine the merits in language modeling and entity-based relational learning. However, although a knowledge graph contains rich structural information, it lacks the context to provide a more precise understanding of the concepts and relations. This creates a gap when fusing knowledge graphs into language modeling, especially in the scenario of insufficient paired text-knowledge data. In this paper, we propose to utilize external entity description to provide contextual information for graph entities. For the CommonsenseQA task, our model first extracts concepts from the question and choice, and then finds a related triple between these concepts. Next, it retrieves the descriptions of these concepts from Wiktionary and feed them as additional input to a pre-trained language model, together with the triple. The resulting model can attain much more effective commonsense reasoning capability, achieving state-of-the-art results in the CommonsenseQA dataset with an accuracy of 80.7% (single model) and 83.3% (ensemble model) on the official leaderboard.

研究动机与目标

• 解决在常识推理任务中知识图谱缺乏上下文信息的问题。
• 改善预训练语言模型中文本上下文与关系知识之间的对齐。
• 通过为实体注入外部描述，缩小低资源文本-知识配对场景下的性能差距。
• 通过上下文化的知识融合，在CommonsenseQA基准上实现最先进结果。

提出的方法

• 从CommonsenseQA数据集中提取问题和答案选项中的关键概念。
• 识别与提取概念相关联的知识图谱三元组。
• 从维基词典中检索每个概念实体的描述文本，以提供上下文信息。
• 将知识图谱三元组与维基词典中的实体描述共同作为输入输入到预训练语言模型中。
• 端到端微调语言模型，联合优化结构化知识与文本知识在常识推理任务中的表现。
• 使用集成推理进一步提升在CommonsenseQA排行榜上的预测准确率。

实验结果

研究问题

• RQ1 外部实体描述能否提升知识图谱实体在常识推理中的上下文理解能力？
• RQ2 注入基于维基词典的描述对CommonsenseQA基准性能有何影响？
• RQ3 在低资源文本-知识配对条件下，所提出方法是否优于现有知识图谱融合方法？
• RQ4 描述性文本的整合在多大程度上提升了推理能力，超越仅依赖关系三元组的效果？

主要发现

• 所提方法在CommonsenseQA测试集上实现了80.7%的单模型准确率，创下新的最先进水平。
• 集成模型达到83.3%的准确率，进一步优于单模型。
• 维基词典描述的整合显著增强了模型对常识概念的推理能力。
• 由于上下文信息的丰富，模型在文本-知识数据配对有限的场景下表现出更强的鲁棒性。
• 该方法有效弥合了结构化知识与上下文语言理解在常识推理中的差距。
• 结果证实，外部描述可作为自然语言处理任务中知识图谱实体的宝贵上下文来源。