[论文解读] Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings

Xunjie Zhu, Gerard de Melo|arXiv (Cornell University)|Mar 9, 2020

Topic Modeling参考文献 36被引用 8

一句话总结

本文引入了句子类比数据集以评估句子嵌入空间中的规律性，提出了基于词汇类比和语义关系的评估方案。研究发现，像DCT和GloVe这样的简单模型在捕捉类比规律方面通常优于复杂的BERT型模型，挑战了关于大容量上下文嵌入优越性的假设。

ABSTRACT

While important properties of word vector representations have been studied extensively, far less is known about the properties of sentence vector representations. Word vectors are often evaluated by assessing to what degree they exhibit regularities with regard to relationships of the sort considered in word analogies. In this paper, we investigate to what extent commonly used sentence vector representation spaces as well reflect certain kinds of regularities. We propose a number of schemes to induce evaluation data, based on lexical analogy data as well as semantic relationships between sentences. Our experiments consider a wide range of sentence embedding methods, including ones based on BERT-style contextual embeddings. We find that different models differ substantially in their ability to reflect such regularities.

研究动机与目标

• 探究句子嵌入空间是否表现出与词向量空间中观察到的规律性类似的类比规律性。
• 基于句子之间的词汇和语义关系，开发新的句子类比评估数据集。
• 评估多种句子嵌入方法（包括BERT型模型）在这些类比任务上的表现。
• 确定模型容量增加或在NLI数据上微调是否能提升句子嵌入中的类比推理能力。

提出的方法

• 提出一种框架，通过将词类比模式适配到句子级关系，生成句子类比数据集。
• 使用词汇类比模式（例如，'A之于B，正如C之于D'）基于现有词类比数据集中的句子对构建句子类比。
• 应用蕴含和否定等语义关系类型来定义句子类比，创建专门的评估集。
• 使用向量运算与余弦相似度求解类比：argmax_D sim(v_D, v_B - v_A + v_C)，排除A、B和C。
• 在三种类比类型上评估16种句子嵌入模型：词汇类比、蕴含类比和否定类比。
• 使用3CosAdd和3CosMul作为评分函数，计算预测句子嵌入与目标句子嵌入之间的相似度。

实验结果

研究问题

• RQ1 句子嵌入空间是否反映与词向量空间中观察到的规律性类似的类比规律性，特别是在类比任务中？
• RQ2 不同句子嵌入模型（尤其是BERT型模型）在句子类比任务中的表现如何？
• RQ3 在NLI数据上微调是否能提升模型捕捉句子嵌入中类比关系的能力？
• RQ4 更简单的模型（如DCT或词向量平均）是否能在类比推理中优于复杂的神经架构？
• RQ5 模型大小和架构复杂性在多大程度上与句子类比任务上的性能相关？

主要发现

• RoBERTa-Base-CLS在蕴含类比任务中达到最高准确率（0.8703），甚至优于RoBERTa-Large。
• BERT-Large-AVG在蕴含任务中达到0.6896的准确率，表明即使作为非上下文嵌入的平均值，其性能依然出色。
• 使用k=6的DCT模型在蕴含任务中达到0.6667的准确率，优于许多复杂模型。
• 在NLI数据上微调的模型（如SBERT、SRoBERTa）在否定类比任务中表现较差，常将未否定形式与正确答案混淆。
• GloVe和词向量平均在蕴含和否定任务中表现不佳，尤其在随机掩码下。
• 出人意料的是，像DCT和GloVe这样的简单模型在捕捉类比规律性方面常常优于SBERT和XLNet等复杂模型。