[论文解读] Mathematical Foundations for a Compositional Distributional Model of Meaning

Bob Coecke, Mehrnoosh Sadrzadeh+1 more|arXiv (Cornell University)|Mar 23, 2010

Natural Language Processing Techniques被引用 148

一句话总结

本文提出了一种组合分布语义模型，通过使用紧致闭范畴将向量空间语义与预群语法统一起来，使句子意义能够在单一语义空间中以向量形式计算。该方法使用图示演算追踪信息流，并支持任意句子之间的内积比较，其布尔变体可恢复蒙塔古风格的语义。

ABSTRACT

We propose a mathematical framework for a unification of the distributional theory of meaning in terms of vector space models, and a compositional theory for grammatical types, for which we rely on the algebra of Pregroups, introduced by Lambek. This mathematical framework enables us to compute the meaning of a well-typed sentence from the meanings of its constituents. Concretely, the type reductions of Pregroups are `lifted' to morphisms in a category, a procedure that transforms meanings of constituents into a meaning of the (well-typed) whole. Importantly, meanings of whole sentences live in a single space, independent of the grammatical structure of the sentence. Hence the inner-product can be used to compare meanings of arbitrary sentences, as it is for comparing the meanings of words in the distributional model. The mathematical structure we employ admits a purely diagrammatic calculus which exposes how the information flows between the words in a sentence in order to make up the meaning of the whole sentence. A variation of our `categorical model' which involves constraining the scalars of the vector spaces to the semiring of Booleans results in a Montague-style Boolean-valued semantics.

研究动机与目标

• 将词意义的分布语义向量空间模型与组合语法类型理论统一起来，克服先前方法的局限性。
• 使任何类型正确的句子的意义都能被计算为单一共享语义空间中的向量。
• 提供一种形式化、组合性的方法，从词的意义和语法类型计算句子的意义。
• 通过统一向量空间中的内积，支持任意句子之间的语义比较。
• 通过将向量标量限制为{0,1}，恢复蒙塔古风格的布尔语义。

提出的方法

• 将预群类型约化提升为紧致闭范畴中的态射，结合向量空间与语法类型。
• 使用向量空间的张量积表示组合意义，由范畴态射引导组合过程。
• 采用基于紧致闭范畴的图示演算，以可视化和计算句子组合中的信息流。
• 为每个句子分配一个在单一语义空间S中的意义向量，从而通过内积实现直接比较。
• 应用有限维向量空间范畴（FVect）与预群范畴（P），构成乘积范畴FVect × P。
• 通过将向量标量限制为半环{0,1}，推导出布尔变体，从而获得蒙塔古风格的真值功能语义。

实验结果

研究问题

• RQ1 如何在保留定量比较能力的前提下，将分布语义的词意义组合为句子意义？
• RQ2 能否构建一个统一的数学框架，将向量空间语义与组合类型理论相结合？
• RQ3 如何以范畴方式编码语法结构，使句子意义能自然地从词的意义和类型中浮现？
• RQ4 紧致闭范畴在实现句子语义中的图示计算与信息流追踪中起什么作用？
• RQ5 蒙塔古风格的布尔语义能否作为所提出的基于向量的组合模型的特例推导得出？

主要发现

• 所提出的框架能将任何类型正确的句子的意义计算为单一共享语义空间S中的向量，从而实现任意两个句子之间的直接内积比较。
• 使用紧致闭范畴使得纯粹的图示演算成为可能，能够可视化从词到句子意义的信息流。
• 该模型自然支持句子层面的意义计算，而无需为语法类型预定义向量。
• 采用布尔标量的模型变体可恢复蒙塔古风格语义，其中句子意义基于集合论交集被判定为真或假。
• 该框架具有足够的灵活性以容纳混合态，并可扩展以建模上下文敏感词（如'but'），这些词缺乏固定的逻辑对应物。
• 该模型为未来在向量空间设置中研究逻辑连接词（如'and'、'or'、'not'）提供了基础，可能支持标准矩阵表示。