[论文解读] Assessing Composition in Sentence Vector Representations

Allyson Ettinger, Ahmed Elgohary+2 more|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques被引用 11

一句话总结

本文提出一种受控方法，通过生成具有精确句法、语义和词汇约束的大规模标注句子集，以评估神经句子嵌入中的组合意义。该方法利用针对性的分类任务探测抽象的组合信息（如语义角色和否定），证明该方法能有效区分模型在捕捉结构化意义方面的能力，结果显示不同模型间表现差异显著，并通过词袋基线模型进行了验证。

ABSTRACT

An important component of achieving language understanding is mastering the composition of sentence meaning, but an immediate challenge to solving this problem is the opacity of sentence vector representations produced by current neural sentence composition models. We present a method to address this challenge, developing tasks that directly target compositional meaning information in sentence vector representations with a high degree of precision and control. To enable the creation of these controlled tasks, we introduce a specialized sentence generation system that produces large, annotated sentence sets meeting specified syntactic, semantic and lexical constraints. We describe the details of the method and generation system, and then present results of experiments applying our method to probe for compositional information in embeddings from a number of existing sentence composition models. We find that the method is able to extract useful information about the differing capacities of these models, and we discuss the implications of our results with respect to these systems' capturing of sentence information. We make available for public use the datasets used for these experiments, as well as the generation system.

研究动机与目标

• 为解决神经句子嵌入在捕捉组合意义方面的不透明性问题，该问题阻碍了评估与改进。
• 开发一种系统化、受控的方法，用于探测句子表征中的抽象组合信息，如语义角色和否定。
• 生成大规模、带有语义标注的句子数据集，具备精确的句法、语义和词汇约束，以支持严格评估。
• 通过确保基线模型（如词袋模型）在需要组合推理的任务上表现随机水平，对方法进行验证。
• 公开发布生成系统和分类数据集，以支持更广泛的组合意义模型评估与开发。

提出的方法

• 设计直接针对组合意义的分类任务，例如识别语义角色框架中的施事或受事。
• 开发一种专门的句子生成系统，以生成具有指定句法、语义和词汇约束的大规模受控句子集。
• 为每个句子标注标准语义标签，以确保评估任务的准确性和一致性。
• 实施训练-测试划分策略，以强制模型超越表面模式的泛化能力，减少数据泄露。
• 使用词袋模型作为合理性检验，确认需要顺序敏感组合的任务无法仅通过统计线索解决。
• 将该方法应用于探测多个现有组合模型的句子嵌入，评估其捕捉特定组合特征的能力。

实验结果

研究问题

• RQ1 神经模型的句子嵌入在多大程度上能够捕捉组合意义，如语义角色和否定？
• RQ2 不同句子组合模型在表征抽象、结构化意义成分方面的能力有何差异？
• RQ3 受控的合成数据集能否消除标准评估基准中因表面偏差而虚增性能的问题？
• RQ4 所提出的方法是否能可靠检测出模型在无法捕捉组合性时的表现，特别是在需要句法或语义顺序的任务中？
• RQ5 该生成系统能否用于创建组合建模的评估数据甚至训练数据？

主要发现

• 该方法成功根据模型捕捉组合意义的能力对句子组合模型进行区分，揭示了不同模型在性能上的显著差异。
• 包含显式句法结构的模型在需要组合推理的任务中表现更优，特别是在语义角色标注任务中。
• 词袋基线模型在需要顺序敏感组合的任务上表现随机水平，验证了该方法能够隔离真正的组合理解。
• 结果表明，当前许多模型在抽象组合信息方面仍存在困难，尤其是在否定和复杂语义角色关系方面。
• 该方法对数据集偏差具有鲁棒性，表现为简单基线模型在顺序敏感任务中的一致性失败。
• 公开发布的数据集和生成系统支持可复现的评估，以及未来更组合化的句子表征的发展。