[论文解读] Evaluating Compositionality in Sentence Embeddings

Ishita Dasgupta, Demi Guo+3 more|arXiv (Cornell University)|Feb 12, 2018

Topic Modeling被引用 18

一句话总结

本文引入一个诊断性数据集，用于评估句向量的组合泛化能力，表明即使在标准基准上表现优异的最先进模型（如 InferSent）在结构化、组合敏感的句子对上仍会失败。主要发现是，通过在训练数据中加入少量对比性示例，可在很大程度上提升新数据集上的性能，揭示出模型失败的原因是数据偏差，而非架构限制。

ABSTRACT

An important challenge for human-like AI is compositional semantics. Recent research has attempted to address this by using deep neural networks to learn vector space embeddings of sentences, which then serve as input to other tasks. We present a new dataset for one such task, `natural language inference' (NLI), that cannot be solved using only word-level knowledge and requires some compositionality. We find that the performance of state of the art sentence embeddings (InferSent; Conneau et al., 2017) on our new dataset is poor. We analyze the decision rules learned by InferSent and find that they are consistent with simple heuristics that are ecologically valid in its training dataset. Further, we find that augmenting training with our dataset improves test performance on our dataset without loss of performance on the original training dataset. This highlights the importance of structured datasets in better understanding and improving AI systems.

研究动机与目标

• 开发一个诊断基准，用于测试句向量在词级知识之外的组合泛化能力。
• 探究像 InferSent 这类最先进句向量模型为何在组合敏感的自然语言推理任务上失败。
• 评估是否可通过有针对性的数据增强，在不损害标准基准性能的前提下提升模型在组合任务上的表现。
• 识别并分析模型所学习的启发式决策规则，以解释其在组合复杂示例上的失败原因。

提出的方法

• 构建一个新的自然语言推理（NLI）数据集——Comparisons 数据集，其中包含需要组合推理的句子对，且无法仅通过词级信息解决。
• 在标准 SNLI 数据集和新构建的 Comparisons 数据集上分别训练并评估 InferSent 句向量模型，以评估其组合泛化能力。
• 利用特征归因和模式分析，分析 InferSent 学习到的决策规则，识别训练数据中生态上有效的启发式规则。
• 在 SNLI 与 Comparisons 数据集的合并数据集上微调 InferSent，以检验其在新任务上的性能是否提升，同时不降低在原始任务上的表现。
• 从头开始在合并数据集上重新训练 InferSent，以验证当提供适当训练样本时，模型架构是否具备学习组合模式的能力。
• 使用可解释性技术检查模型行为，验证性能提升源于真正的组合学习，而非捷径启发式规则。

实验结果

研究问题

• RQ1 像 InferSent 这类最先进句向量能否在需要超越词级语义关系推理的句子对上实现组合泛化？
• RQ2 InferSent 等模型从训练数据中学习到哪些具体启发式规则，导致其在组合复杂示例上失败？
• RQ3 SNLI 训练数据中的偏差在多大程度上解释了 InferSent 在新 Comparisons 数据集上表现不佳的原因？
• RQ4 通过在训练数据中加入少量、对比性的示例，是否可提升模型在组合敏感示例上的表现，同时不降低在标准基准上的性能？
• RQ5 当提供更结构化且多样化的训练分布时，InferSent 模型架构是否具备学习组合表征的能力？

主要发现

• InferSent 在 Comparisons 数据集上的准确率仅为 45.36%，表明其在组合泛化方面存在显著失败，尽管其在 SNLI 测试集上的准确率高达 84.84%。
• 模型在 Comparisons 数据集上表现不佳的主要原因在于数据驱动的启发式规则（如依赖词共现模式），而非模型架构的根本性限制。
• 分析显示，模型从 SNLI 训练数据中学习到了生态上有效的启发式规则，例如将某些词语与特定蕴含关系关联，这些规则在 Comparisons 数据集的反例中会失效。
• 在 Comparisons 数据集上微调后，测试准确率提升至 99.8%，表明当模型接触到适当示例时，能够学习组合模式。
• 从头开始在 SNLI 与 Comparisons 数据集的合并数据集上重新训练，可在 Comparisons 数据集上达到 99.55% 的准确率，在 SNLI 上达到 84.96%，表明通过更优质的训练数据，可在保持或提升两个任务性能的同时实现性能优化。
• 结果证实，模型架构具备组合推理能力，其性能主要障碍在于缺乏暴露组合泛化能力的多样化、结构化训练样本。