[论文解读] A CCG-Based Version of the DisCoCat Framework

Richie Yeung, Dimitri Kartsaklis|arXiv (Cornell University)|May 17, 2021

Natural Language Processing Techniques参考文献 22被引用 17

一句话总结

本文提出了一种基于CCG的DisCoCat框架重构，用组合范畴语法（CCG）替代范畴词典语法（pregroup grammars），以克服其在表达能力和可扩展性方面的局限。通过将CCG建模为双闭范畴，并利用对称紧致闭包表示置换规则，作者实现了使用现有CCG解析器进行大规模DisCoCat实验，通过将《爱丽丝梦游仙境》全文转换为DisCoCat图示得到验证。

ABSTRACT

While the DisCoCat model (Coecke et al., 2010) has been proved a valuable tool for studying compositional aspects of language at the level of semantics, its strong dependency on pregroup grammars poses important restrictions: first, it prevents large-scale experimentation due to the absence of a pregroup parser; and second, it limits the expressibility of the model to context-free grammars. In this paper we solve these problems by reformulating DisCoCat as a passage from Combinatory Categorial Grammar (CCG) to a category of semantics. We start by showing that standard categorial grammars can be expressed as a biclosed category, where all rules emerge as currying/uncurrying the identity; we then proceed to model permutation-inducing rules by exploiting the symmetry of the compact closed category encoding the word meaning. We provide a proof of concept for our method, converting "Alice in Wonderland" into DisCoCat form, a corpus that we make available to the community.

研究动机与目标

• 解决DisCoCat框架中范畴词典语法学的局限性，其表达能力受限于上下文无关语言，且缺乏可扩展的解析支持。
• 通过用组合范畴语法（CCG）替代范畴词典语法，实现大规模DisCoCat实验，CCG是一种适度上下文敏感的形式系统，且已有稳健的统计解析器可用。
• 在DisCoCat组合语义框架内，提供CCG规则的理论严谨、基于双闭范畴的编码，包括保持顺序和引发置换的规则。
• 通过使用标准CCG解析器将《爱丽丝梦游仙境》全文转换为DisCoCat图示，证明该方法的可行性。
• 发布由此生成的语料库及一个基于网页的DisCoCat图示生成工具，以支持社区研究与实验。

提出的方法

• 将CCG建模为双闭范畴，使得标准句法规则能自然地从恒等态射的柯里化与反柯里化操作中导出。
• 利用语义范畴的紧致闭范畴中的对称同构，编码置换规则（如交叉复合），实现高效的线缆交换表示。
• 定义从原子类型、词汇和CCG规则生成的自由双闭范畴到有限维向量空间范畴（FdVect）的闭合张量函子。
• 将词的意义表示为张量，句子的意义表示为张量收缩，通过函子映射将句法推导映射到字符串图示。
• 利用语义范畴的对称性，通过线缆置换编码非标准词序和跨序列依赖，避免显式扩展类型。
• 使用标准CCG解析器（如Yoshikawa et al. 2017）推导句法结构，再通过所提出的范畴映射将其转换为DisCoCat图示。

实验结果

研究问题

• RQ1 能否通过范畴论正式地将组合范畴语法（CCG）嵌入DisCoCat框架，以替代范畴词典语法？
• RQ2 CCG中的置换规则（如交叉复合）如何在语义的对称紧致闭范畴中高效编码？
• RQ3 基于CCG的DisCoCat框架是否能够支持跨序列依赖等非上下文无关结构的建模，这些结构超出了范畴词典语法的表达能力？
• RQ4 现有的稳健CCG解析器能否被有效用于将DisCoCat实验扩展到具有任意句法结构的真实世界大规模语料？
• RQ5 由此生成的DisCoCat图示在多大程度上能够以保持语言表达能力与计算可处理性的方式计算组合句义？

主要发现

• 作者成功地以CCG作为句法基础重构了DisCoCat，使该框架能够建模适度上下文敏感现象，如跨序列依赖。
• 使用双闭范畴为CCG的标准句法规则（包括类型提升和复合）提供了自然且形式化的编码，通过柯里化与反柯里化操作实现。
• 通过语义范畴的对称同构，CCG中的置换规则被高效编码，使得线缆交换可表示词序变化，而无需改变底层张量结构。
• 作者通过使用标准CCG解析器将《爱丽丝梦游仙境》全文转换为DisCoCat图示，展示了该方法的可行性，创建了首个大规模、公开可用的DisCoCat语料库。
• 发布了基于网页的工具，可将任意句子转换为DisCoCat图示，促进了社区的广泛访问与实验。