[论文解读] Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

Mael Jullien, Marco Valentino+1 more|arXiv (Cornell University)|Jan 25, 2022

Topic Modeling被引用 9

一句话总结

本文通过系统性探测抽象语义类别，探究大规模Transformer语言模型是否通过预训练隐式编码了基础本体论（FO）。在多种BERT和RoBERTa模型上，采用三种互补的基础本体论标注任务——基础、二元及单一上下文嵌入探测——结果表明，Transformer在预训练过程中偶然习得了与FO相关的表征，利用MLP探测器可实现约90%准确率的稳健术语级FO标注器。

ABSTRACT

With the methodological support of probing (or diagnostic classification), recent studies have demonstrated that Transformers encode syntactic and semantic information to some extent. Following this line of research, this paper aims at taking semantic probing to an abstraction extreme with the goal of answering the following research question: can contemporary Transformer-based models reflect an underlying Foundational Ontology? To this end, we present a systematic Foundational Ontology (FO) probing methodology to investigate whether Transformers-based models encode abstract semantic information. Following different pre-training and fine-tuning regimes, we present an extensive evaluation of a diverse set of large-scale language models over three distinct and complementary FO tagging experiments. Specifically, we present and discuss the following conclusions: (1) The probing results indicate that Transformer-based models incidentally encode information related to Foundational Ontologies during the pre-training pro-cess; (2) Robust FO taggers (accuracy of 90 percent)can be efficiently built leveraging on this knowledge.

研究动机与目标

• 探究当代基于Transformer的模型在预训练过程中是否编码了潜在的基础本体论（FO）。
• 通过探测领域无关、高层级类别（如“事件”或“生物实体”）来应对自然语言处理中的抽象语义推理挑战。
• 设计并评估一种系统性的FO探测方法论，以衡量上下文嵌入中FO表征的程度。
• 证明利用大规模语言模型中预编码的语义知识构建稳健、高效FO标注器的可行性。
• 考察不同架构（如BERT与RoBERTa）及微调策略（如在NLI数据集上微调）对FO编码及下游性能的影响。

提出的方法

• 设计三种不同的FO标注任务：基础本体论标注、二元任务及单一上下文嵌入探测，以WordNet-DOLCE对齐作为语义参考。
• 采用诊断分类（探测）方法，使用线性探测器和多层感知机（MLP）探测器，从上下文嵌入中提取与FO相关的表征。
• 在多个NLI数据集（SNLI、MNLI、QQP、MRPC）上微调BERT和RoBERTa模型，以评估下游微调对FO编码的影响。
• 使用包含2,760个样本的精选数据集（每类460个样本）进行单一上下文嵌入探测，按552-552-1,656的比例划分为训练/验证/测试集。
• 使用准确率和最大选择性评估探测器性能，并在不同架构和探测类型间进行比较。
• 开源FO探测流程、数据集及训练好的标注器，以支持可复现性与未来研究。

实验结果

研究问题

• RQ1 预训练的基于Transformer的模型是否在预训练过程中偶然编码了基础本体论（FO）类别？
• RQ2 能否利用预训练模型中编码的语义知识构建稳健的术语级FO标注器？
• RQ3 不同模型架构（如BERT与RoBERTa）及微调流程（如在NLI数据上微调）如何影响FO信息的编码？
• RQ4 在线性探测与MLP探测中，哪种探测方法在检测FO类别时表现更优？
• RQ5 基础模型与其在NLI数据上微调后的版本之间，FO编码是否存在显著差异？

主要发现

• 基于Transformer的模型在预训练过程中偶然编码了与基础本体论相关的知识，所有探测任务的性能均显著高于随机基线。
• MLP探测器在所有任务中均持续优于线性探测器，准确率最高达0.66，最大选择性最高达0.37，表明其在提取抽象语义知识方面具有更强能力。
• 通过利用大规模语言模型中预编码的FO知识，可高效构建准确率约90%的稳健FO标注器，尤其在使用MLP探测器时效果更佳。
• 在不同模型架构（如BERT与RoBERTa）之间，或在基础模型与其NLI微调版本之间，均未观察到显著差异，表明FO编码在各类配置中具有一致性。
• 表现最佳的模型是RoBERTa-large在SNLI数据集上的单一上下文嵌入探测任务中，使用MLP探测器实现0.66的准确率和0.27的最大选择性。
• 在NLI数据集上微调并未一致提升FO探测性能，甚至在某些情况下导致性能下降，表明此类微调可能无助于提升抽象语义编码能力。