[论文解读] Category Theory for Quantum Natural Language Processing

Alexis Toumi|arXiv (Cornell University)|Dec 13, 2022

Computational Physics and Python Applications被引用 4

一句话总结

本文通过使用签名上的自由范畴对语法结构进行建模，提出了一种范畴论框架用于量子自然语言处理（QNLP），利用基于路径的箭头实现组合语义。其主要贡献在于建立了从自由范畴出发的函子与签名态射之间的形式同构，为NLP中的量子线路式数据流水线奠定了基础。

ABSTRACT

This thesis introduces quantum natural language processing (QNLP) models based on a simple yet powerful analogy between computational linguistics and quantum mechanics: grammar as entanglement. The grammatical structure of text and sentences connects the meaning of words in the same way that entanglement structure connects the states of quantum systems. Category theory allows to make this language-to-qubit analogy formal: it is a monoidal functor from grammar to vector spaces. We turn this abstract analogy into a concrete algorithm that translates the grammatical structure onto the architecture of parameterised quantum circuits. We then use a hybrid classical-quantum algorithm to train the model so that evaluating the circuits computes the meaning of sentences in data-driven tasks. The implementation of QNLP models motivated the development of DisCoPy (Distributional Compositional Python), the toolkit for applied category theory of which the first chapter gives a comprehensive overview. String diagrams are the core data structure of DisCoPy, they allow to reason about computation at a high level of abstraction. We show how they can encode both grammatical structures and quantum circuits, but also logical formulae, neural networks or arbitrary Python code. Monoidal functors allow to translate these abstract diagrams into concrete computation, interfacing with optimised task-specific libraries. The second chapter uses DisCopy to implement QNLP models as parameterised functors from grammar to quantum circuits. It gives a first proof-of-concept for the more general concept of functorial learning: generalising machine learning from functions to functors by learning from diagram-like data. In order to learn optimal functor parameters via gradient descent, we introduce the notion of diagrammatic differentiation: a graphical calculus for computing the gradients of parameterised diagrams.

研究动机与目标

• 使用范畴论，特别是签名上的自由范畴，形式化量子自然语言处理。
• 将NLP中的语法结构建模为有向多重图（签名）中的路径，以组合方式捕捉数据流水线。
• 建立从自由范畴出发的函子与签名态射之间的自然同构，实现组合语义。
• 为量子线路和NLP提供范畴论基础，其作用类似于列表作为编程中自由幺半群的角色。
• 在DisCoPy中实现该框架，该Python库用于量子算法和NLP，利用范畴论抽象。

提出的方法

• 将签名定义为元组 (Σ₀, Σ₁, dom, cod)，其中 Σ₀ 是生成对象的集合，Σ₁ 是生成箭头（盒子）的集合，dom 和 cod 分别为定义域和余定义域映射。
• 构建签名 Σ 上的自由范畴 F(Σ)，其中对象为 Σ₀ 的元素，箭头为可组合生成箭头的有限路径。
• 定义一个函子 Sig → Cat，将签名映射到其自由范畴，通过重命名生成箭头来保持态射。
• 建立从范畴到签名的遗忘函子 Cat → Sig 与从签名到自由范畴的函子 Sig → Cat 之间的伴随关系，其中单位将盒子映射为其长度为一的平凡路径，而余单位将路径组合为单个箭头。
• 利用自然同构 Cat(F(Σ), C) ≃ Sig(Σ, U(C)) 证明：从自由范畴出发定义函子等价于定义签名态射。
• 在DisCoPy中使用Python类实现该框架，用于表示范畴和签名，利用装饰器和不可变列表来建模路径和态射。

实验结果

研究问题

• RQ1 范畴论如何用于建模量子自然语言处理中的组合语义？
• RQ2 NLP中数据流水线的范畴结构是什么？其与量子线路有何关联？
• RQ3 在签名上构造自由范畴能否作为组合NLP的形式基础，类似于自由幺半群对列表的作用？
• RQ4 伴随关系在连接签名态射与从自由范畴出发的函子之间扮演什么角色？
• RQ5 该框架如何在Python等编程语言中高效实现，以支持实际的量子NLP应用？

主要发现

• 在签名上构造的自由范畴为NLP中的数据流水线提供了范畴模型，其中箭头表示操作序列。
• 存在从自由范畴 F(Σ) 到范畴 C 的函子与从 Σ 到 C 的底层面貌签名的态射之间的自然同构。
• 伴随关系的单位将签名中的每个生成箭头（盒子）映射为长度为一的平凡路径，而余单位将路径组合为单个箭头。
• Sig 与 Cat 之间的伴随关系表明，自由范畴是范畴到签名的遗忘函子的左伴随，从而推广了自由幺半群的构造。
• 该框架已在DisCoPy中实现，证明了自由范畴中的基于路径的箭头可以使用不可变列表和装饰器在Python中本地图形化表示与操作。
• 同构 Cat(F(Σ), C) ≃ Sig(Σ, U(C)) 确认了从自由范畴出发定义函子等价于指定签名态射，从而支持模块化与组合语义。