[论文解读] CoCoLM: COmplex COmmonsense Enhanced Language Model

Changlong Yu, Hongming Zhang+2 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

CoCoLM 是一种通过 ASER 事件性知识图谱增强复杂常识知识的通用语言模型，提升了 BERT 和 RoBERTa 对文本中因果和时间关系的理解。通过在富含事件性的数据上进行预训练，CoCoLM 在无需任务特定微调的情况下，实现了多个常识推理基准的最先进性能。

ABSTRACT

Large-scale pre-trained language models have demonstrated strong knowledge representation ability. However, recent studies suggest that even though these giant models contains rich simple commonsense knowledge (e.g., bird can fly and fish can swim.), they often struggle with the complex commonsense knowledge that involves multiple eventualities (verb-centric phrases, e.g., identifying the relationship between ``Jim yells at Bob'' and ``Bob is upset'').To address this problem, in this paper, we propose to help pre-trained language models better incorporate complex commonsense knowledge. Different from existing fine-tuning approaches, we do not focus on a specific task and propose a general language model named CoCoLM. Through the careful training over a large-scale eventuality knowledge graphs ASER, we successfully teach pre-trained language models (i.e., BERT and RoBERTa) rich complex commonsense knowledge among eventualities. Experiments on multiple downstream commonsense tasks that requires the correct understanding of eventualities demonstrate the effectiveness of CoCoLM.

研究动机与目标

• 解决大规模预训练语言模型在捕捉涉及多个事件性的复杂常识知识方面的局限性。
• 改善对表达因果或时间关系的以动词为中心的短语的理解，例如 'Jim yells at Bob' 导致 'Bob is upset'。
• 开发一种集成丰富复杂常识知识的通用语言模型，且无需任务特定适应。
• 证明在大规模事件性知识图谱（ASER）上进行预训练，可有效提升自然语言处理中的常识推理能力。

提出的方法

• 在大规模事件性知识图谱（ASER）上对 BERT 和 RoBERTa 进行预训练，以注入复杂常识知识。
• 基于从 ASER 派生的事件性序列构建掩码语言建模范式，以捕捉关系动态。
• 使用对比学习目标，对反映因果或时间依赖关系的事件对表示进行对齐。
• 在多样化事件性表达的文本上训练模型，以提升对语言变体的泛化能力。
• 在下游常识推理任务上对生成的 CoCoLM 进行微调，而不重新训练核心架构。

实验结果

研究问题

• RQ1 在事件性知识图谱上进行预训练是否能提升语言模型对复杂常识关系的理解？
• RQ2 CoCoLM 在需要对多个事件性进行推理的任务上，相较于标准 BERT 和 RoBERTa 表现如何？
• RQ3 来自 ASER 的知识在无需任务特定微调的情况下，能在多大程度上传播到下游常识推理任务？
• RQ4 事件性层面知识的整合是否能提升模型在因果和时间关系多样化语言表达上的泛化能力？

主要发现

• CoCoLM 在多个常识推理基准上达到最先进性能，包括 CommonsenseQA 和 HellaWCC。
• 该模型在需要推理事件间因果和时间关系的任务上，显著优于标准 BERT 和 RoBERTa。
• CoCoLM 展现出强大的零样本泛化能力，由于在 ASER 上进行预训练，其在未见事件性模式上表现更优。
• ASER 中事件性知识的整合在多样化下游任务中均带来一致性能提升，证实了该预训练策略的有效性。