[論文レビュー] Category Theory for Quantum Natural Language Processing

Alexis Toumi|arXiv (Cornell University)|Dec 13, 2022

Computational Physics and Python Applications被引用数 4

ひとこと要約

この論文は、自由なシグネチャ上の圏を用いて構文的構造をモデル化することで、量子自然言語処理（QNLP）のための圏論的枠組みを導入し、経路に基づく矢印を通じて合成的意味論を可能にする。主な貢献は、自由な圏からの関手とシグネチャの準同型の間の形式的同型であり、NLPにおける量子回路に類似したデータパイプラインの基盤を確立する。

ABSTRACT

This thesis introduces quantum natural language processing (QNLP) models based on a simple yet powerful analogy between computational linguistics and quantum mechanics: grammar as entanglement. The grammatical structure of text and sentences connects the meaning of words in the same way that entanglement structure connects the states of quantum systems. Category theory allows to make this language-to-qubit analogy formal: it is a monoidal functor from grammar to vector spaces. We turn this abstract analogy into a concrete algorithm that translates the grammatical structure onto the architecture of parameterised quantum circuits. We then use a hybrid classical-quantum algorithm to train the model so that evaluating the circuits computes the meaning of sentences in data-driven tasks. The implementation of QNLP models motivated the development of DisCoPy (Distributional Compositional Python), the toolkit for applied category theory of which the first chapter gives a comprehensive overview. String diagrams are the core data structure of DisCoPy, they allow to reason about computation at a high level of abstraction. We show how they can encode both grammatical structures and quantum circuits, but also logical formulae, neural networks or arbitrary Python code. Monoidal functors allow to translate these abstract diagrams into concrete computation, interfacing with optimised task-specific libraries. The second chapter uses DisCopy to implement QNLP models as parameterised functors from grammar to quantum circuits. It gives a first proof-of-concept for the more general concept of functorial learning: generalising machine learning from functions to functors by learning from diagram-like data. In order to learn optimal functor parameters via gradient descent, we introduce the notion of diagrammatic differentiation: a graphical calculus for computing the gradients of parameterised diagrams.

研究の動機と目的

• 自由なシグネチャ上の圏論を用いて量子自然言語処理を形式化すること。
• NLPにおける構文的構造を、有向多重グラフ（シグネチャ）における経路としてモデル化し、データパイプラインの合成的性質を捉えること。
• 自由な圏からの関手とシグネチャの準同型の間の自然同型を確立し、合成的意味論を構築すること。
• 量子回路とNLPのための圏論的基盤を提供し、プログラミングにおけるリストの自由モノイドとしての役割に類似した役割を果たすこと。
• DisCoPyという、量子アルゴリズムとNLPのためのPythonライブラリを用いて、圏論的抽象化を活用してこの枠組みを実装すること。

提案手法

• シグネチャを (Σ₀, Σ₁, dom, cod) のタプルとして定義し、Σ₀は生成対象の集合、Σ₁は生成矢印（ボックス）の集合、dom と cod はドメインとコドメインの写像である。
• シグネチャ Σ に対して自由な圏 F(Σ) を構成し、対象は Σ₀ の要素、矢印は合成可能な生成矢印の有限経路である。
• シグネチャからその自由な圏への関手 Sig → Cat を定義し、生成矢印の再ラベリングによって準同型を保存する。
• Cat → Sig からの忘却関手と Sig → Cat への自由な圏関手の間の随伴を確立し、ユニットはボックスを長さ1の自明な経路に写し、コユニットは経路を1つの矢印に合成する。
• 自然同型 Cat(F(Σ), C) ≃ Sig(Σ, U(C)) を用いて、自由な圏からの関手を定義することは、シグネチャの準同型を定義することに等しいことを示す。
• Pythonのクラスを用いて圏とシグネチャを実装し、経路と矢印を表すために不変リストとデコレータを活用して、DisCoPyでこの枠組みを実装する。

実験結果

リサーチクエスチョン

• RQ1 圏論は、量子自然言語処理における合成的意味論をどのようにモデル化できるか？
• RQ2 NLPにおけるデータパイプラインの背後にある圏論的構造は何か？そしてそれは量子回路とどのように関係するか？
• RQ3 シグネチャ上の自由な圏の構成は、リストの自由モノイドに類似した形で、合成的NLPの形式的基盤として機能できるか？
• RQ4 随伴は、シグネチャの準同型と自由な圏からの関手をどのように結びつけるか？
• RQ5 この枠組みは、Pythonのようなプログラミング言語で、実用的な量子NLP応用のためにどのように効率的に実装できるか？

主な発見

• シグネチャ上の自由な圏の構成は、矢印が操作の系列を表すNLPにおけるデータパイプラインの圏論的モデルを提供する。
• 自由な圏 F(Σ) からの関手と圏 C の下位シグネチャへのシグネチャの準同型の間には自然同型が存在する。
• 随伴のユニットは、シグネチャ内の各生成矢印（ボックス）を長さ1の自明な経路に写す。一方、コユニットは経路を1つの矢印に合成する。
• Sig と Cat の間の随伴は、自由な圏が、圏からシグネチャへの忘却関手の左随伴であることを示しており、自由モノイドの構成を一般化する。
• この枠組みは DisCoPy に実装されており、自由な圏における経路に基づく矢印が、不変リストとデコレータを用いてPythonでネイティブに表現・操作可能であることを示している。
• 同型 Cat(F(Σ), C) ≃ Sig(Σ, U(C)) は、自由な圏からの関手を定義することは、シグネチャの準同型を指定することに等しいことを確認しており、モジュラーで合成的な意味論を可能にする。