[论文解读] A comprehensive comparative evaluation and analysis of Distributional Semantic Models.

Alessandro Lenci, Magnus Sahlgren+3 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 61被引用 6

一句话总结

本文通过任务基准测试和表示相似性分析（RSA）对静态与上下文相关的分布语义模型进行了全面评估。研究发现，在非上下文语境下的语义任务中，静态DSM优于基于BERT的上下文嵌入向量；RSA揭示了词频和词性显著影响语义表征。

ABSTRACT

Distributional semantics has deeply changed in the last decades. First, predict models stole the thunder from traditional count ones, and more recently both of them were replaced in many NLP applications by contextualized vectors produced by Transformer neural language models. Although an extensive body of research has been devoted to Distributional Semantic Model (DSM) evaluation, we still lack a thorough comparison with respect to tested models, semantic tasks, and benchmark datasets. Moreover, previous work has mostly focused on task-driven evaluation, instead of exploring the differences between the way models represent the lexical semantic space. In this paper, we perform a comprehensive evaluation of type distributional vectors, either produced by static DSMs or obtained by averaging the contextualized vectors generated by BERT. First of all, we investigate the performance of embeddings in several semantic tasks, carrying out an in-depth statistical analysis to identify the major factors influencing the behavior of DSMs. The results show that i.) the alleged superiority of predict based models is more apparent than real, and surely not ubiquitous and ii.) static DSMs surpass contextualized representations in most out-of-context semantic tasks and datasets. Furthermore, we borrow from cognitive neuroscience the methodology of Representational Similarity Analysis (RSA) to inspect the semantic spaces generated by distributional models. RSA reveals important differences related to the frequency and part-of-speech of lexical items.

研究动机与目标

• 为解决分布语义学中跨语义任务与数据集的综合性、跨模型比较不足的问题。
• 探究基于预测的模型是否在各类语义评估中真正超越传统的基于计数的模型。
• 通过平均BERT各层来评估上下文嵌入向量的性能，并与静态DSM进行比较。
• 在任务性能之外，分析不同分布语义模型在表征词汇语义空间方面的内在差异。
• 将来自认知神经科学的表示相似性分析（RSA）应用于语义表征结构差异的揭示。

提出的方法

• 在多个语义任务（如词语相似度、文本相似度）上使用标准基准数据集进行广泛评估。
• 通过统计分析识别影响DSM性能的关键因素，包括模型类型、数据集和任务类型。
• 使用传统的基于计数和预测的模型（如Skip-gram、CBOW）生成静态分布语义向量。
• 提取BERT的上下文嵌入向量，并对其各层进行平均，生成用于比较的类静态向量。
• 采用表示相似性分析（RSA）比较不同模型之间语义空间的几何结构。
• 针对词频和词性分析RSA结果，以识别系统性的表征偏差。

实验结果

研究问题

• RQ1 基于预测的模型相较于基于计数的模型在不同语义任务和数据集上是否始终具有性能优势？
• RQ2 静态分布语义模型与平均后的BERT上下文嵌入向量在非上下文语义评估中表现如何？
• RQ3 通过表示相似性分析（RSA）揭示的不同DSM生成的语义空间之间存在哪些结构性差异？
• RQ4 词频和词性在多大程度上影响分布语义模型中的表征相似性？
• RQ5 上下文模型的性能提升是否真正具有普适性，还是仅限于特定类型的语义任务？

主要发现

• 基于预测的模型相较于基于计数的模型具有优势，这一现象更多是表象而非实质，且在所有任务和数据集中并不具有普遍适用性。
• 静态分布语义模型在非上下文语义任务中始终优于平均后的BERT上下文嵌入向量。
• 表示相似性分析（RSA）揭示了语义空间结构的系统性差异，尤其与词频和词性相关。
• 高频词和内容词（如名词、动词）在不同模型间表现出更强的表征对齐，表明对词汇频率具有共同的敏感性。
• 词性类别呈现出不同的表征模式，其中内容词在语义空间中形成更紧密的聚类，而功能词则表现较弱。
• 尽管架构更为复杂，上下文嵌入向量在平均为静态向量后，并未在标准语义相似度任务中普遍提升性能。