[论文解读] Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics

Edward Grefenstette|arXiv (Cornell University)|Nov 6, 2013

Natural Language Processing Techniques参考文献 87被引用 30

一句话总结

本文提出了一种范畴论框架——DisCoCat，通过范畴函子将句法结构与分布语义相结合，实现词向量到句子表征的组合。该方法表明，基于此框架构建的模型在短语相似性任务中，尤其在复杂句子上，性能优于现有组合分布语义模型，其优势源于对紧凑闭范畴基础上的语法形式化与学习过程的利用。

ABSTRACT

This thesis is about the problem of compositionality in distributional semantics. Distributional semantics presupposes that the meanings of words are a function of their occurrences in textual contexts. It models words as distributions over these contexts and represents them as vectors in high dimensional spaces. The problem of compositionality for such models concerns itself with how to produce representations for larger units of text by composing the representations of smaller units of text. This thesis focuses on a particular approach to this compositionality problem, namely using the categorical framework developed by Coecke, Sadrzadeh, and Clark, which combines syntactic analysis formalisms with distributional semantic representations of meaning to produce syntactically motivated composition operations. This thesis shows how this approach can be theoretically extended and practically implemented to produce concrete compositional distributional models of natural language semantics. It furthermore demonstrates that such models can perform on par with, or better than, other competing approaches in the field of natural language processing. There are three principal contributions to computational linguistics in this thesis. The first is to extend the DisCoCat framework on the syntactic front and semantic front, incorporating a number of syntactic analysis formalisms and providing learning procedures allowing for the generation of concrete compositional distributional models. The second contribution is to evaluate the models developed from the procedures presented here, showing that they outperform other compositional distributional models present in the literature. The third contribution is to show how using category theory to solve linguistic problems forms a sound basis for research, illustrated by examples of work on this topic, that also suggest directions for future research.

研究动机与目标

• 为通过将句法结构整合到基于向量的意义表征中来解决分布语义中的组合性问题。
• 将DisCoCat框架扩展至新的句法形式化，如上下文无关语法、Lambek语法和组合范畴语法。
• 开发从抽象范畴语义生成具体组合分布语义模型的实际学习程序。
• 在短语相似性检测任务中，评估DisCoCat模型相对于现有方法的性能。
• 确立范畴论作为未来组合分布语义研究中严谨且可扩展的基础。

提出的方法

• 使用范畴论中的预群语法和紧凑闭范畴，形式化表示句法约简与语义组合。
• 定义从句法范畴（如CFG、Lambek语法）到有限维向量空间范畴（FVect）的函子。
• 利用张量积与Kronecker积，在高维向量空间中建模词与短语的组合。
• 基于Kronecker积的降维表示实现学习算法，以降低计算成本，同时保持语义结构。
• 采用多步线性回归方法，从训练数据中学习基于张量的组合操作。
• 通过范畴语义与函子映射，将框架扩展至支持组合范畴语法。

实验结果

研究问题

• RQ1 范畴论能否为基于句法结构的分布语义词向量组合提供统一且数学严谨的框架？
• RQ2 如何系统地将上下文无关语法和Lambek语法等句法形式化映射为范畴结构，以实现语义组合？
• RQ3 DisCoCat模型在短语相似性任务中，相较于现有组合分布语义模型，优势有多大？
• RQ4 基于Kronecker积的降维向量表示能否在降低计算复杂度的同时，保持全张量模型的表达能力？
• RQ5 在DisCoCat框架中集成逻辑运算与非线性操作的前景如何？

主要发现

• DisCoCat模型在短语相似性检测任务中表现与或优于竞争模型，尤其在复杂句子上表现更优。
• 随着句子复杂度的提升，DisCoCat与基线模型之间的性能差距扩大，表明其具有更强的句法泛化能力。
• 基于Kronecker积的降维表示在保持语义保真度的同时，显著降低了计算成本，且不改变组合的数学本质。
• 降维表示的学习程序具有通用性，可适用于多种词向量类型。
• 该框架通过函子映射成功将多种句法形式化（包括CFG、Lambek语法和CCG）整合至语义向量空间。
• 范畴论的使用使得框架可系统性扩展，支持未来集成逻辑运算与非线性操作。