[论文解读] A Compositional Distributional Semantics, Two Concrete Constructions, and some Experimental Evaluations

Mehrnoosh Sadrzadeh, Edward Grefenstette|arXiv (Cornell University)|May 9, 2011

Advanced Text Analysis Techniques参考文献 16被引用 5

一句话总结

本文提出了一种混合组合分布语义模型，利用范畴论与张量积将逻辑语法与向量空间语义相结合，以计算句子语义。该模型引入了两种具体构造——结构化向量空间与普通向量空间，并通过在英国国家语料库上的实验表明，范畴模型在句子相似度与词义消歧任务中优于基线方法，尤其在句法结构复杂的句子上表现更优。

ABSTRACT

We provide an overview of the hybrid compositional distributional model of meaning, developed in Coecke et al. (arXiv:1003.4394v1 [cs.CL]), which is based on the categorical methods also applied to the analysis of information flow in quantum protocols. The mathematical setting stipulates that the meaning of a sentence is a linear function of the tensor products of the meanings of its words. We provide concrete constructions for this definition and present techniques to build vector spaces for meaning vectors of words, as well as that of sentences. The applicability of these methods is demonstrated via a toy vector space as well as real data from the British National Corpus and two disambiguation experiments.

研究动机与目标

• 通过范畴框架统一逻辑组合语义与分布语义向量空间模型。
• 解决非组合分布语义模型在句子语义计算中忽略句法结构的局限性。
• 为抽象范畴模型开发具体、可实现的构造方法，以实现对真实语言数据的实际应用。
• 在真实世界任务（如词义消歧与句子相似度）上评估模型性能，使用英国国家语料库进行测试。
• 证明组合结构能提升复杂句法构造上的性能，尤其在基线模型失效的情况下。

提出的方法

• 使用紧致闭范畴与图示推理，将语法结构建模为作用于词向量的态射。
• 利用张量积在统一向量空间中将词向量组合为句子级语义向量。
• 应用两种具体构造：一种基于结构化向量空间（含语法类型），另一种基于普通向量空间。
• 依据Firth的“你通过一个词所处的语境来认识它”原则，从大规模语料中的共现统计推导词向量。
• 应用范畴运算（如cap与cup）以建模句法依赖关系，如主-动-宾结构。
• 通过句子向量之间的余弦相似度度量语义相似度，从而支持下游NLP任务（如消歧）。

实验结果

研究问题

• RQ1 基于范畴论的组合分布语义模型能否在保留句法结构的前提下，有效从词向量计算句子语义？
• RQ2 在真实语言数据上，不同具体构造（结构化向量空间 vs. 普通向量空间）的实际表现如何？
• RQ3 如其组合设计所预测，模型性能是否随句法复杂度的增加而提升？
• RQ4 在词义消歧任务中，该范畴模型是否显著优于非组合基线模型？
• RQ5 该模型是否能比现有分布语义或逻辑模型更贴近人类标注的相似度判断？

主要发现

• 在第二个消歧实验中，范畴模型的Spearman等级相关系数达到0.21，显著优于基线模型（0.16）与乘法模型（0.17），表明其与人类判断的对齐程度更高。
• 在第一个实验中，模型的rho值为0.17，略优于乘法模型（0.17）与基线模型（0.08），但由于句法结构更简单，差异不那么显著。
• 模型性能随句法复杂度提升而增强，第二个实验中的改进幅度更高，证实了组合性的价值。
• 与基线模型相比，范畴模型在高相似度与低相似度句子得分之间的差异更小（0.84 vs. 0.79 对比 0.27 vs. 0.26），表明其相似度估计更一致且更细腻。
• 在第一个实验中，人类一致度（UpperBound）的rho值为0.40，第二个实验中为0.62，表明随着复杂度提升，模型与人类判断之间的差距缩小。
• 结果表明，若数据集包含更多形容词、副词与量词等复杂成分，模型性能将进一步提升，支持其在更丰富语言现象上的可扩展性。