[论文解读] Concrete Sentence Spaces for Compositional Distributional Models of Meaning

Edward Grefenstette, Mehrnoosh Sadrzadeh+3 more|arXiv (Cornell University)|Dec 31, 2010

Natural Language Processing Techniques被引用 13

一句话总结

本文提出了一种具体的、基于语料库的句法级语义向量空间构建方法，用于组合分布语义模型，通过将名词空间的张量积与语法角色相结合，以表示句子语义。通过将所有句子嵌入共享的向量空间，实现了通过内积进行的直接比较，对于语义相似的句子，实现了较高的相似度得分（例如，0.961）；对于具有不同动词含义的句子（如 'catch a ball' 与 'catch a disease'），实现了完美的消歧（相似度 = 0）。

ABSTRACT

Coecke, Sadrzadeh, and Clark (arXiv:1003.4394v1 [cs.CL]) developed a compositional model of meaning for distributional semantics, in which each word in a sentence has a meaning vector and the distributional meaning of the sentence is a function of the tensor products of the word vectors. Abstractly speaking, this function is the morphism corresponding to the grammatical structure of the sentence in the category of finite dimensional vector spaces. In this paper, we provide a concrete method for implementing this linear meaning map, by constructing a corpus-based vector space for the type of sentence. Our construction method is based on structured vector spaces whereby meaning vectors of all sentences, regardless of their grammatical structure, live in the same vector space. Our proposed sentence space is the tensor product of two noun spaces, in which the basis vectors are pairs of words each augmented with a grammatical role. This enables us to compare meanings of sentences by simply taking the inner product of their vectors.

研究动机与目标

• 为组合分布语义模型中的句法级语义向量空间提供一种具体且基于语料库的构建方法。
• 通过将所有句子嵌入共享向量空间，实现句法语义的直接比较。
• 利用语法结构——特别是语法角色——作为基向量的一部分，以捕捉句法与语义的组合性。
• 通过向量空间中不同的上下文特性，实现对多义词（如 'catch' 表示 '抓取' 与 '感染'）的有效消歧。
• 通过范畴语法和张量代数将语义组合建立在句法结构基础上，统一真值理论与基于语料库的语义。

提出的方法

• 将句法空间构建为两个名词空间的张量积，其中基向量为带有语法角色的词对（例如，'arg-round'，'obj-buys'）。
• 根据词语在语料库中的共现模式为其分配语义向量，权重反映其分布特性与句法角色。
• 将动词表示为复合类型（例如，及物动词表示为 $n^r s n^l$），作为 $N \otimes S \otimes N$ 中的张量，其中基向量编码主语、动词和宾语角色。
• 通过范畴语法约简（pregroup reductions）应用语法规则于词语向量的张量积，生成单个句子向量。
• 通过句子向量的内积计算句间相似度，并采用余弦归一化以实现稳健比较。
• 利用选择性偏好和上下文特性（例如，'ball' 与 'arg-round' 相关，'disease' 与 'arg-contagious' 相关）在上下文中对词义进行消歧。

实验结果

研究问题

• RQ1 如何在组合分布语义模型中，为句法级语义构建一种具体且基于语料库的向量空间？
• RQ2 是否可以将句法语义嵌入共享向量空间，使得语义相似性可通过内积相似性体现？
• RQ3 语法角色在多大程度上可被编码进基向量中，以改善句法语义的组合表示？
• RQ4 该模型能否基于其句法与分布上下文，有效消歧多义词（如 'catch'）？
• RQ5 该模型在捕捉细微语义差异（如动词的及物用法与不及物用法之间）方面的表现如何？

主要发现

• 模型在 'dogs chase cats' 与 'fluffy dogs chase fluffy cats' 之间实现了 0.961 的余弦相似度，表明尽管存在词汇修饰，语义相似度仍很高。
• 模型在 'dogs catch a ball' 与 'dogs catch a disease' 之间实现了完美消歧，内积为 0，余弦相似度为 0，这是由于上下文特性完全不重叠。
• 句法空间的构建使得通过内积实现句法语义的直接比较成为可能，无需依赖独立的相似度函数。
• 将语法角色作为基向量的一部分，实现了对句法结构的精确编码，提升了组合性与消歧能力。
• 该模型成功捕捉了语义的组合性本质，其中向量组合既反映了词汇语义，也体现了句法结构。
• 通过将张量空间扩展至 $N \otimes N \otimes N$，该框架可支持更复杂的句型（如双及物动词）的扩展。