[论文解读] COMET: Commonsense Transformers for Automatic Knowledge Graph Construction

Antoine Bosselut, Hannah Rashkin+4 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 33被引用 22

一句话总结

COMET（常识转换器）提出了一种生成式方法，通过微调大规模预训练语言模型来自动生成新颖且高质量的常识知识三元组，从而自动构建常识知识图谱。其在Atomic数据集上的Top-1精度达到77.5%，在ConceptNet上的精度达到91.7%，表明生成式模型能够产出与人工整理资源相当的人工评分高质量常识知识。

ABSTRACT

We present the first comprehensive study on automatic knowledge base construction for two prevalent commonsense knowledge graphs: ATOMIC (Sap et al., 2019) and ConceptNet (Speer et al., 2017). Contrary to many conventional KBs that store knowledge with canonical templates, commonsense KBs only store loosely structured open-text descriptions of knowledge. We posit that an important step toward automatic commonsense completion is the development of generative models of commonsense knowledge, and propose COMmonsEnse Transformers (COMET) that learn to generate rich and diverse commonsense descriptions in natural language. Despite the challenges of commonsense modeling, our investigation reveals promising results when implicit knowledge from deep pre-trained language models is transferred to generate explicit knowledge in commonsense knowledge graphs. Empirical results demonstrate that COMET is able to generate novel knowledge that humans rate as high quality, with up to 77.5% (ATOMIC) and 91.7% (ConceptNet) precision at top 1, which approaches human performance for these resources. Our findings suggest that using generative commonsense models for automatic commonsense KB completion could soon be a plausible alternative to extractive methods.

研究动机与目标

• 开发一种生成式框架，用于自动构建常识知识库，突破传统抽取式方法的局限。
• 探究预训练语言模型是否可被适配以生成新颖、多样且高质量的常识三元组。
• 评估在两个主要常识知识库（Atomic和ConceptNet）中生成知识的质量、新颖性与多样性。
• 研究该方法在生成有效知识时对种子三元组数量的依赖程度，即效率问题。
• 探索将生成式模型作为传统抽取式知识库补全方法的可扩展替代方案的可行性。

提出的方法

• 在现有常识知识库（Atomic和ConceptNet）的种子三元组上微调预训练变换器语言模型，使其在给定主语和关系输入时生成对象短语。
• 采用序列到序列的生成设置，模型根据主语（s）和关系（r）作为输入，预测对象（o）。
• 利用大规模预训练模型（如GPT风格）的深层上下文表征，以捕捉丰富的语义与常识知识。
• 在微调过程中应用掩码语言建模范式，以保留并适应模型对常识关系的理解。
• 通过自动评估与人工评估相结合的方式，评估生成三元组的质量与新颖性，并与训练数据进行对比。
• 在两个不同的常识知识库（Atomic，基于事件；ConceptNet，基于关系）上进行训练与评估，支持跨领域分析。

实验结果

研究问题

• RQ1 微调后的生成式语言模型能否生成训练数据中不存在的新颖、高质量的常识三元组？
• RQ2 在生成知识的精度与质量方面，生成式模型相较于抽取式方法表现如何？
• RQ3 在有限数量的现有知识库种子三元组下，模型在多大程度上能泛化出多样且正确的常识知识？
• RQ4 模型能否生成在语义上连贯且被人类评价为合理的知识？
• RQ5 使用生成式模型作为传统抽取式知识库构建的可扩展替代方案是否可行？

主要发现

• COMET在Atomic知识库上生成三元组的Top-1精度达到77.5%，表明其生成结果与人工标注知识高度一致。
• 在ConceptNet上，COMET的Top-1精度达到91.7%，表明其能高质量地生成常识关系。
• 人工评估确认，大量生成的三元组被评定为合理且正确，显示出强大的事实一致性。
• 模型生成了训练集中不存在的新知识，且在不同主语-关系对之间展现出高度的多样性与连贯性。
• 即使仅使用少量种子三元组，该方法仍保持有效性，表明其具备良好的可扩展性与低数据依赖性。
• COMET在捕捉文本中未明确陈述的隐含常识知识方面，优于抽取式方法。