[论文解读] Modelling Commonsense Properties using Pre-Trained Bi-Encoders

Amit Gajbhiye, Luis Espinosa-Anke+1 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用 5

一句话总结

该论文提出了一种双编码器框架，通过使用上下位词-上下位词对和通用句子，微调概念及其常识属性的独立编码器，实现了在常识属性预测任务中显著更高的准确率，尤其在训练与测试属性无重叠的零样本设置下表现更优。

ABSTRACT

Grasping the commonsense properties of everyday concepts is an important prerequisite to language understanding. While contextualised language models are reportedly capable of predicting such commonsense properties with human-level accuracy, we argue that such results have been inflated because of the high similarity between training and test concepts. This means that models which capture concept similarity can perform well, even if they do not capture any knowledge of the commonsense properties themselves. In settings where there is no overlap between the properties that are considered during training and testing, we find that the empirical performance of standard language models drops dramatically. To address this, we study the possibility of fine-tuning language models to explicitly model concepts and their properties. In particular, we train separate concept and property encoders on two types of readily available data: extracted hyponym-hypernym pairs and generic sentences. Our experimental results show that the resulting encoders allow us to predict commonsense properties with much higher accuracy than is possible by directly fine-tuning language models. We also present experimental results for the related task of unsupervised hypernym discovery.

研究动机与目标

• 为解决语言模型在常识属性预测任务中因训练集与测试集概念相似性而导致的性能虚高问题。
• 构建一种更真实的评估设置，使训练与测试属性互不重叠，从而减少对概念相似性的依赖。
• 探索上下位关系数据和通用句子作为建模常识属性的预训练信号的实用性。
• 设计并评估一种显式建模概念与其属性之间关系的双编码器架构。

提出的方法

• 使用对比学习目标微调独立的概念编码器和属性编码器，以最大化正样本对（概念-属性）之间的相似度。
• 在两种数据源上预训练双编码器：来自 Microsoft Concept Graph 的同位词-上位词对，以及来自 GenericsKB 的通用句子。
• 采用共享 Transformer 编码器的孪生网络架构，分别处理概念和属性表征，随后通过余弦相似度层进行匹配。
• 在推理阶段，使用最大内积搜索（MIPS）高效检索给定概念的 top-k 属性。
• 采用对比损失进行模型训练，使正样本对（概念与其属性）相互靠近，而负样本对相互远离。
• 在一种新的零样本设置下评估模型，其中测试属性未出现在训练集中，以模拟真实场景下的部署。

实验结果

研究问题

• RQ1 当训练与测试属性互不重叠时，标准语言模型在常识属性预测任务上的性能是否会显著下降？
• RQ2 在上下位关系数据和通用句子上进行预训练，能否提升双编码器模型对未见属性的泛化能力？
• RQ3 所提出的双编码器架构在捕捉概念与其属性之间的语义和分类关系方面有多有效？
• RQ4 模型的预测在多大程度上反映了真正的常识知识，而非仅依赖于表面的概念相似性？

主要发现

• 在新的零样本评估设置下，当训练与测试属性无重叠时，标准语言模型的性能接近随机水平，表明以往的高分主要源于概念相似性。
• 所提出的双编码器模型在常识属性预测任务上优于直接微调的语言模型，尤其在零样本场景下表现更优。
• 在上下位关系数据（如 Microsoft Concept Graph）和通用句子（如 GenericsKB）上进行预训练可获得优异性能，其中后者表现出更强的鲁棒性。
• 定性分析表明，该模型即使对抽象概念和物理概念也能检索出语义上合理的属性，包括上位词和语义属性。
• 该模型成功捕捉了属性蕴含关系，但部分预测反映的是反向蕴含或语义关联，而非严格的上下位关系。
• 与标准微调方法相比，双编码器方法泛化能力更强，表明显式建模概念-属性关系可显著提升零样本迁移性能。