[论文解读] Experimental Support for a Categorical Compositional Distributional Model of Meaning

Edward Grefenstette, Mehrnoosh Sadrzadeh|arXiv (Cornell University)|Jun 20, 2011

Natural Language Processing Techniques参考文献 24被引用 223

一句话总结

本文提出了一种范畴组合分布语义模型的实际实现，该模型将分布语义学与类型逻辑语法相结合。通过从英国国家语料库（BNC）中学习关系词（如动词、形容词）的矩阵表示，并将其应用于词向量，该模型在不及物动词消歧任务上达到最先进性能，并在一项新颖的及物句消歧任务上优于现有模型，展示了更强的句法敏感性以及在句子复杂度增加时的可扩展性。

ABSTRACT

Modelling compositional meaning for sentences using empirical distributional methods has been a challenge for computational linguists. We implement the abstract categorical model of Coecke et al. (arXiv:1003.4394v1 [cs.CL]) using data from the BNC and evaluate it. The implementation is based on unsupervised learning of matrices for relational words and applying them to the vectors of their arguments. The evaluation is based on the word disambiguation task developed by Mitchell and Lapata (2008) for intransitive sentences, and on a similar new experiment designed for transitive sentences. Our model matches the results of its competitors in the first experiment, and betters them in the second. The general improvement in results with increase in syntactic complexity showcases the compositional power of our model.

研究动机与目标

• 通过将逻辑结构与经验词向量统一，弥合形式组合语义学与分布语义学之间的差距。
• 开发一种可扩展的无监督方法，从语料数据中学习关系词矩阵（如动词）。
• 在日益复杂的句法结构上评估模型的组合能力，特别是及物句。
• 证明模型对语法结构的敏感性可带来与人类判断更一致的结果，优于交换组合模型。
• 在真实语料库环境中，为高层范畴框架在组合分布语义中的应用提供实验验证。

提出的方法

• 模型基于英国国家语料库（BNC）中的共现统计，将名词表示为向量，将关系词（如动词和形容词）表示为矩阵。
• 依据预群语法和范畴论的形式体系，通过张量收缩（Kronecker积与矩阵-向量乘法）将关系矩阵应用于其论元。
• 模型采用自底向上的学习方法：直接从句子级上下文数据训练矩阵，而非通过复合向量的回归。
• 在评估中，将模型应用于两个消歧任务：一个针对不及物动词（来自先前工作），另一个针对受控句法复杂度的及物动词。
• 性能通过与人工标注的相似性判断的相关性进行衡量，并与基线模型和乘法模型进行比较。
• 模型的组合结构确保了对复杂句子的统一可扩展性，并支持不同句法形式句子之间的比较。

实验结果

研究问题

• RQ1 能否在真实世界语料数据上实际实现高层范畴组合分布语义模型？
• RQ2 与非组合或交换组合模型相比，该模型的组合结构是否能在消歧任务上带来性能提升？
• RQ3 在句法复杂度增加时，特别是及物结构中，模型的性能如何变化？
• RQ4 模型对语法结构的敏感性在多大程度上与人类对语义相似性的判断一致？
• RQ5 该模型能否有效将关系词（如动词）表示为作用于其论元的矩阵，从而保持句法与语义的区分？

主要发现

• 在不及物动词消歧任务上，模型性能与领先竞争对手相当，证实其在简单句法结构上的可行性。
• 在新颖的及物句消歧任务中，模型显著优于基线模型和乘法模型，展现出更优的句法敏感性。
• 随着句子复杂度的增加，模型与人工标注者判断的一致性持续提升，表明其具有强大的组合能力。
• 尽管在平均相关性上，范畴模型与基线模型的差异较小，但范畴模型在复杂情况下的判断对齐度更高。
• 结果证实，模型的组合架构能够在多样化句法结构中实现可扩展且稳健的意义组合。
• 模型能够从原始语料数据中无监督地学习关系词矩阵，支持其实际可行性与泛化潜力。