[논문 리뷰] Meaning updating of density matrices

Bob Coecke, Konstantinos Meichanetzidis|arXiv (Cornell University)|2020. 01. 03.

Topic Modeling참고 문헌 41인용 수 9

한 줄 요약

이 논문은 이중 밀도 행렬을 사용하여 자연어 처리에서 의미 표현을 위한 다이어그램적 내부 업데이트 메커니즘을 제안하며, 양자 기초 이론에서 유래한 비환류 업데이트 과정과 어휘적 모호성 모델링을 통합한다. 이는 DisCoCirc을 확장하여 시간적이고 비환류적인 의미 업데이트를 가능하게 하며, 대수적으로 일관되며 양자 하드웨어에서 실행 가능한 구조를 제공한다.

ABSTRACT

The DisCoCat model of natural language meaning assigns meaning to a sentence given: (i) the meanings of its words, and, (ii) its grammatical structure. The recently introduced DisCoCirc model extends this to text consisting of multiple sentences. While in DisCoCat all meanings are fixed, in DisCoCirc each sentence updates meanings of words. In this paper we explore different update mechanisms for DisCoCirc, in the case where meaning is encoded in density matrices---which come with several advantages as compared to vectors. Our starting point are two non-commutative update mechanisms, borrowing one from quantum foundations research, from Leifer and Spekkens. Unfortunately, neither of these satisfies any desirable algebraic properties, nor are internal to the meaning category. By passing to double density matrices we do get an elegant internal diagrammatic update mechanism. We also show that (commutative) spiders can be cast as an instance of the Leifer-Spekkens update mechanism. This result is of interest to quantum foundations, as it bridges the work in Categorical Quantum Mechanics (CQM) with that on conditional quantum states. Our work also underpins implementation of text-level natural language processing on quantum hardware (a.k.a. QNLP), for which exponential space-gain and quadratic speed-up have previously been identified.

연구 동기 및 목표

• DisCoCat의 정적 의미 표현 방식의 한계를 해결하기 위해 문장 수준의 동적 의미 업데이트를 도입한다.
• 기존의 두 가지 비환류 업데이트 메커니즘인 fuzz와 phaser를 하나의 대수적으로 일관된 프레임워크 안에서 통합한다.
• 밀도 행렬과 완전 양성 사상의 범주 내에서 내부적이고 다이어그램적인 의미 업데이트 메커니즘을 제공한다.
• 후선택(post-selection)과 양자 회로와 호환되는 형식론을 통해 텍스트 수준의 자연어 처리를 근시일 내 양자 하드웨어에서 실행 가능하게 한다.

제안 방법

• 의미 범주 내에서 의미 업데이트 과정을 내재화하기 위해 이중 밀도 행렬을 형식론으로 도입한다.
• 비환류성 스파이더와 조건부 밀도 행렬을 사용한 다이어그램적 합성으로 문장 수준의 업데이트를 표현한다.
• 복합 조합을 통해 다수의 의미 분지들을 결합하는 방식으로, '검은'과 같은 모호한 형용사(예: 'black')를 fuzz 메커니즘을 사용해 모델링한다.
• 원래 양자 베이지안 추론에서 유래한 phaser 메커니즘이 비환류 설정에서 스파이더로부터 유도될 수 있음을 보여준다.
• fuzz와 phaser가 모두 이중 밀도 행렬 업데이트 형식론의 특수한 경우임을 입증한다.
• 정규 수직 기저와 랭크-1 사영 연산자를 사용해 단어 의미와 그들의 업데이트를 모델링하며, 색상과 모호성에 대한 구체적인 예시를 제시한다.

실험 결과

연구 질문

• RQ1 시간적 순서와 비환류성을 고려한 의미 업데이트를 어떻게 형식화할 수 있는가?
• RQ2 phaser와 fuzz 업데이트 메커니즘이 하나의 대수적으로 일관된 프레임워크 안에서 통합될 수 있는가?
• RQ3 밀도 행렬과 완전 양성 사상의 범주 내에서 의미 업데이트를 내재화할 수 있는가?
• RQ4 결과적으로 도출된 형식론은 근시일 내 양자 하드웨어에서 실행 가능할 수 있는가?
• RQ5 이중 밀도 행렬은 어떻게 다이어그램적이고 구성적인 의미 업데이트 처리를 가능하게 하는가?

주요 결과

• 이중 밀도 행렬 형식론은 원래의 fuzz와 phaser 메커니즘과 달리 바람직한 대수적 성질을 만족하는 내부적이고 다이어그램적으로 우아한 업데이트 메커니즘을 제공한다.
• phaser 업데이트 메커니즘이 환류성 스파이더의 비환류 일반화임을 보여주며, 이를 하나의 프레임워크 안에서 통합한다.
• fuzz 메커니즘은 복합 조합을 통해 의미 분지들을 결합함으로써 '검은 메탈'이 장르이자 재료일 수 있는 어휘적 모호성(예: 'black metal')을 성공적으로 모델링한다.
• 구체적인 예시들을 통해 '문이 빨간색으로 변한다'와 '문이 검은색으로 변한다'는 비교가 가능한 랭크-1 사영 연산자를 순차적으로 사용한 프로젝션 업데이트로 모델링됨을 보여준다.
• 형식론은 양자 하드웨어와 호환되며, 이중 밀도 행렬은 후선택을 동반한 표준 밀도 행렬로 실현 가능하다.
• 코퍼스 기반의 기대치에 기반한 실용적 타당성이 뒷받침되며, 모호한 형용사들은 문맥에 따라 해석이 분리되고, 모델은 의미의 예상되는 변화를 재현한다.