[논문 리뷰] Category Theory for Quantum Natural Language Processing

Alexis Toumi|arXiv (Cornell University)|2022. 12. 13.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 자유 서명을 갖는 서명 위의 자유 범주를 사용하여 문법적 구조를 모델링함으로써, 경로 기반 화살표를 통한 조합적 의미론을 가능하게 하는 범주론적 프레임워크를 제안한다. 주요 기여는 자유 범주에서의 함자와 서명 사상 간의 형식적 동형사상으로, 이는 NLP에서 양자 회로 유사한 데이터 파이프라인의 기초를 마련한다.

ABSTRACT

This thesis introduces quantum natural language processing (QNLP) models based on a simple yet powerful analogy between computational linguistics and quantum mechanics: grammar as entanglement. The grammatical structure of text and sentences connects the meaning of words in the same way that entanglement structure connects the states of quantum systems. Category theory allows to make this language-to-qubit analogy formal: it is a monoidal functor from grammar to vector spaces. We turn this abstract analogy into a concrete algorithm that translates the grammatical structure onto the architecture of parameterised quantum circuits. We then use a hybrid classical-quantum algorithm to train the model so that evaluating the circuits computes the meaning of sentences in data-driven tasks. The implementation of QNLP models motivated the development of DisCoPy (Distributional Compositional Python), the toolkit for applied category theory of which the first chapter gives a comprehensive overview. String diagrams are the core data structure of DisCoPy, they allow to reason about computation at a high level of abstraction. We show how they can encode both grammatical structures and quantum circuits, but also logical formulae, neural networks or arbitrary Python code. Monoidal functors allow to translate these abstract diagrams into concrete computation, interfacing with optimised task-specific libraries. The second chapter uses DisCopy to implement QNLP models as parameterised functors from grammar to quantum circuits. It gives a first proof-of-concept for the more general concept of functorial learning: generalising machine learning from functions to functors by learning from diagram-like data. In order to learn optimal functor parameters via gradient descent, we introduce the notion of diagrammatic differentiation: a graphical calculus for computing the gradients of parameterised diagrams.

연구 동기 및 목표

• 범주론을 사용하여 양자 자연어 처리를 형식화하는 것, 특히 서명 위의 자유 범주를 중심으로.
• NLP의 문법적 구조를 방향성 있는 다중그래프(서명)의 경로로 모델링하여 데이터 파이프라인의 조합적 특성을 포착하는 것.
• 자유 범주에서의 함자와 서명 사상 간의 자연스러운 동형사상을 확립하여 조합적 의미론을 가능하게 하는 것.
• 프로그래밍에서 리스트가 자유 모노이드의 역할을 하는 것과 유사하게, 양자 회로와 NLP를 위한 범주론적 기초를 제공하는 것.
• 이 프레임워크를 DisCoPy라는 양자 알고리즘과 NLP를 위한 파이썬 라이브러리에 구현하여, 범주론적 추상화를 활용하는 것.

제안 방법

• 서명을 (Σ₀, Σ₁, dom, cod)의 튜플로 정의하며, 여기서 Σ₀는 생성 객체의 집합이고, Σ₁는 도메인과 코드오민이 있는 생성 화살표(박스)의 집합이다.
• 서명 Σ 위의 자유 범주 F(Σ)를 구성하며, 여기서 객체는 Σ₀의 원소이고, 화살표는 연결 가능한 생성 화살표의 유한한 경로이다.
• 서명을 그 자유 범주로 매핑하는 함자 Sig → Cat를 정의하며, 생성 화살표의 재라벨링을 통해 사상들을 유지한다.
• 범주에서 서명으로의 忘却 함자 Cat → Sig와 서명에서 자유 범주로의 함자 Sig → Cat 사이의 수반 관계를 확립하며, 단위는 박자를 길이 1의 자명한 경로로 보내고, 쌍대단위는 경로를 하나의 화살표로 합성한다.
• 자연스러운 동형사상 Cat(F(Σ), C) ≃ Sig(Σ, U(C))를 사용하여, 자유 범주에서의 함자를 정의하는 것과 서명 사상을 정의하는 것이 동치임을 보인다.
• 경로와 화살표를 모델링하기 위해 불변 리스트와 장식자를 활용하여, 파이썬 클래스를 사용해 범주와 서명을 구현한다.

실험 결과

연구 질문

• RQ1 범주론은 양자 자연어 처리에서 조합적 의미론을 어떻게 모델링할 수 있는가?
• RQ2 NLP의 데이터 파이프라인의 기초가 되는 범주론적 구조는 무엇이며, 이는 양자 회로와 어떻게 관련이 있는가?
• RQ3 서명 위의 자유 범주를 구성하는 것이 리스트의 자유 모노이드와 유사하게 조합적 NLP의 형식적 기초가 될 수 있는가?
• RQ4 수반 관계는 서명 사상과 자유 범주에서의 함자 간의 연결 역할을 어떻게 수행하는가?
• RQ5 이 프레임워크는 실용적인 양자 NLP 응용을 위해 파이썬과 같은 프로그래밍 언어에서 효율적으로 어떻게 구현될 수 있는가?

주요 결과

• 서명 위의 자유 범주 구성은 NLP의 데이터 파이프라인을 위한 범주론적 모델을 제공하며, 여기서 화살표는 연산의 순서를 나타낸다.
• 자유 범주 F(Σ)에서 범주 C로의 함자와 C의 기저 서명으로의 서명 사상 간에 자연스러운 동형사상이 존재한다.
• 수반의 단위는 서명의 각 생성 화살표(박스)를 길이 1의 자명한 경로로 보낸다. 반면, 쌍대단위는 경로를 하나의 화살표로 합성한다.
• Sig와 Cat 사이의 수반 관계는 자유 범주가 범주에서 서명으로의 忘却 함자의 왼쪽 수반임을 보여주며, 이는 자유 모노이드 구성의 일반화이다.
• 이 프레임워크는 DisCoPy에 구현되어 있으며, 자유 범주에서의 경로 기반 화살표가 불변 리스트와 장식자를 활용해 파이썬에서 직접 표현되고 조작될 수 있음을 보여준다.
• 동형사상 Cat(F(Σ), C) ≃ Sig(Σ, U(C))는 자유 범주에서의 함자를 정의하는 것이 서명 사상을 지정하는 것과 동치임을 확인하며, 이는 모듈러하고 조합적인 의미론을 가능하게 한다.