[논문 리뷰] The Mathematics of Text Structure

Bob Coecke|arXiv (Cornell University)|2019. 04. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 DisCoCirc를 소개한다. DisCoCirc는 문장이 의미를 업데이트하는 게이트로 작용하는 회로 유사 구조 내에서 단어 의미를 진화하는 타입으로 간주함으로써 텍스트 의미를 모델링하는 양자 영감을 받은 범주론적 프레임워크이다. DisCoCat를 확장하여 문장 간의 동적이고 조합적인 의미 진화를 가능하게 하며, 전체 텍스트에 대해 통합된 스트링 다이어그램을 생성한다. 이는 양자 자연어 처리 분야에 적용 가능하다.

ABSTRACT

In previous work we gave a mathematical foundation, referred to as DisCoCat, for how words interact in a sentence in order to produce the meaning of that sentence. To do so, we exploited the perfect structural match of grammar and categories of meaning spaces. Here, we give a mathematical foundation, referred to as DisCoCirc, for how sentences interact in texts in order to produce the meaning of that text. First we revisit DisCoCat. While in DisCoCat all meanings are fixed as states (i.e. have no input), in DisCoCirc word meanings correspond to a type, or system, and the states of this system can evolve. Sentences are gates within a circuit which update the variable meanings of those words. Like in DisCoCat, word meanings can live in a variety of spaces e.g. propositional, vectorial, or cognitive. The compositional structure are string diagrams representing information flows, and an entire text yields a single string diagram in which word meanings lift to the meaning of an entire text. While the developments in this paper are independent of a physical embodiment (cf. classical vs. quantum computing), both the compositional formalism and suggested meaning model are highly quantum-inspired, and implementation on a quantum computer would come with a range of benefits. We also praise Jim Lambek for his role in mathematical linguistics in general, and the development of the DisCo program more specifically.

연구 동기 및 목표

• 문장 의미가 어떻게 조합되어 텍스트의 의미를 형성하는지에 대한 수학적 기반을 마련함으로써 분포적 의미론 분야의 핵심 격차를 메우는 것.
• 고정된 상태가 아니라 진화하는 타입으로 단어 의미를 모델링하여 문장 처리 과정을 통해 의미를 동적으로 업데이트할 수 있도록 하는 것.
• 문장 수준의 조합과 단어 수준의 의미를 하나의 일관된 형식론으로 통합함으로써 고전적 및 양자적 구현을 모두 지원하는 것.
• 수학적 언어학 분야에 기여한 지미 람벡의 기초적 기여와 DisCo 프로그램 및 양자 영감을 받은 의미론에 미친 영향을 기리는 것.

제안 방법

• 단어 의미를 고정된 상태가 아니라 타입(시스템)으로 표현함으로써 의미가 문장 처리 과정을 거쳐 진화하도록 허용한다.
• 문장을 입출력 프로세스(게이트)로 모델링하여 동적 단어 타입의 상태를 변환함으로써 회로 유사 조합을 형성한다.
• 정보 흐름을 스트링 다이어그램으로 표현하며, 전체 텍스트는 텐서 곱과 순차적 조합으로 구성된 단일 다이어그램으로 표현된다.
• 밀도 행렬과 스펙트럼 분해를 사용하여 단어 의미를 표현하고 업데이트함으로써 순수 상태에서 혼합 상태로 일반화한다.
• 박스-상태 dualit 및 힐베르트-슈미트 내적을 활용하여 텍스트 유사도와 함의 관계를 계산한다.
• 컴 pact closure와 프리그룹 문법과 같은 양자 영감을 받은 형식론을 활용하여 조합적 구조와 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 문장 의미를 수학적으로 엄밀하게 조합하여 텍스트의 의미를 도출할 수 있는가?
• RQ2 단어 의미가 정적가 아니라 동적일 경우, 문장 의미의 형식적 타입 구조는 어떻게 되는가?
• RQ3 텍스트 내 문장의 시퀀스를 거쳐 단어 의미는 어떻게 유의미하게 진화할 수 있는가?
• RQ4 DisCoCirc의 회로 기반 구조는 어떻게 DisCoCat 프레임워크를 일반화하거나 포함하는가?
• RQ5 양자 컴퓨터는 DisCoCirc를 구현할 때 공간 및 시간 복잡도 측면에서 어떤 이점을 제공하는가?

주요 결과

• DisCoCirc는 단어 의미를 문장 처리 과정을 통해 진화하는 동적 타입으로 모델링함으로써 텍스트 수준 의미 조합 문제에 일반적인 해결책을 제공한다.
• 이 프레임워크는 전체 텍스트를 단일 스트링 다이어그램으로 표현할 수 있으며, 문장 의미가 진화하는 단어 타입에 대한 게이트로 작용한다.
• 밀도 행렬과 스펙트럼 분해의 사용은 순수 상태를 초월하여 더 풍부하고 민감한 단어 의미 표현을 가능하게 한다.
• 모델은 결과 상태에 대한 내적을 통해 유사도 및 함의 계산과 같은 표준 DisCoCat 연산을 지원한다.
• 양자 구현은 특히 동적 명사를 다수 포함한 텍스트에 대해 지수적 공간 절감과 잠재적 속도 향상을 제공한다.
• 이 프레임워크는 기존 DisCoCat 방법과 완전히 호환되며, 단어 의미가 정적일 경우 DisCoCat는 DisCoCirc의 특수한 경우로 나타난다.