[논문 리뷰] Foundations for Near-Term Quantum Natural Language Processing

Bob Coecke, Giovanni de Felice외 2명|arXiv (Cornell University)|2020. 12. 07.

Quantum Computing Algorithms and Architecture참고 문헌 91인용 수 22

한 줄 요약

이 논문은 변분 양자 알고리즘을 사용하여 언어 문법과 의미를 양자 회로에 통합함으로써, 근접한 양자 자연어 처리(QNLP)를 위한 기초 원리를 수립한다. 양자 회로를 통한 언어적 구조의 인코딩이 고전적 방법보다 지수적으로 비용이 저렴하다는 것을 입증하며, NISQ 시대 하드웨어에서 양자 우위를 달성하면서도 다이어그램적 추론과 ZX-계산법을 통해 해석 가능성을 유지한다.

ABSTRACT

We provide conceptual and mathematical foundations for near-term quantum natural language processing (QNLP), and do so in quantum computer scientist friendly terms. We opted for an expository presentation style, and provide references for supporting empirical evidence and formal statements concerning mathematical generality. We recall how the quantum model for natural language that we employ canonically combines linguistic meanings with rich linguistic structure, most notably grammar. In particular, the fact that it takes a quantum-like model to combine meaning and structure, establishes QNLP as quantum-native, on par with simulation of quantum systems. Moreover, the now leading Noisy Intermediate-Scale Quantum (NISQ) paradigm for encoding classical data on quantum hardware, variational quantum circuits, makes NISQ exceptionally QNLP-friendly: linguistic structure can be encoded as a free lunch, in contrast to the apparently exponentially expensive classical encoding of grammar. Quantum speed-up for QNLP tasks has already been established in previous work with Will Zeng. Here we provide a broader range of tasks which all enjoy the same advantage. Diagrammatic reasoning is at the heart of QNLP. Firstly, the quantum model interprets language as quantum processes via the diagrammatic formalism of categorical quantum mechanics. Secondly, these diagrams are via ZX-calculus translated into quantum circuits. Parameterisations of meanings then become the circuit variables to be learned. Our encoding of linguistic structure within quantum circuits also embodies a novel approach for establishing word-meanings that goes beyond the current standards in mainstream AI, by placing linguistic structure at the heart of Wittgenstein's meaning-is-context.

연구 동기 및 목표

• 언어적 의미와 문법적 구조를 통합하는 양자 네이티브 NLP 프레임워크를 수립하기 위해.
• 양자 회로에 언어 문법을 인코딩하는 것이 고전적 방법보다 지수적으로 효율적임을 입증하기 위해.
• 변분 양자 회로를 사용하여 종단 간 학습을 통해 단어 의미를 학습하는 NISQ 시대 파이프라인을 개발하기 위해.
• 다이어그램적 양자 추론을 통해 의미 흐름을 명시화함으로써 NLP의 해석 가능성을 보장하기 위해.
• 기존 결과를 초월하여 광범위한 NLP 작업들을 하나의 양자 우위 프레임워크로 통합하기 위해.

제안 방법

• 범주적 양자역학(CQM)과 다이어그램적 추론에 기반한 DisCoCat 모델을 사용하여 언어 의미와 문법을 표현하기 위해.
• ZX-계산법을 사용하여 언어 다이어그램을 양자 회로로 변환함으로써 기존 양자 하드웨어에서의 실행 가능성을 확보하기 위해.
• 단어 의미를 파arameterized 양자 상태(큐비트 상태)로 인코딩하고, 변분 양자 회로를 사용하여 최적화하기 위해.
• NISQ 프레임워크를 활용하여 문장 수준의 의미로부터 최적화를 통해 단어 의미를 학습하기 위해.
• 다이어그램적 추론을 활용하여 언어적 구조가 직접적으로 양자 회로 아키텍처와 의미의 진화를 형성하도록 하기 위해.
• '의미는 맥락이다'의 원칙을 적용하여, 고립된 맥락이 아닌 전체 문장 내 상호작용을 통해 단어 의미를 학습하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 언어적 의미와 문법적 구조를 양자 모델에서 표준화된 방식으로 통합할 수 있는가?
• RQ2 왜 양자 컴퓨팅은 특히 NISQ 시대에 자연어 처리에 본질적으로 적합한가?
• RQ3 범주적 양자역학과 ZX-계산법을 통한 다이어그램적 추론이 양자 NLP 회로의 구축과 최적화에 어떤 이점을 제공하는가?
• RQ4 변분 양자 회로는 문법에 기반한, 해석 가능한 방식으로 단어 의미를 학습할 수 있으며, 이는 고전적 블랙박스 모델과 비교해 어떻게 다른가?
• RQ5 QNLP에서의 양자 우위의 범위는 무엇이며, 어떤 NLP 작업들이 하나의 양자 속도 향상 프레임워크로 통합될 수 있는가?

주요 결과

• 언어적 구조는 양자 회로에 추가 비용 없이 인코딩될 수 있다 — 고전적 시스템에서의 계산 블로킹이 NISQ 프레임워크에서는 '무료 식사'가 된다.
• 범주적 양자역학에 기반한 DisCoCat 모델은 의미와 문법을 표준화된 방식으로 통합하므로 QNLP가 본질적으로 양자 네이티브가 된다.
• 고립된 사례를 초월하여 QNLP 작업에 대한 양자 우위가 입증되었으며, 이제 광범위한 NLP 작업군이 양자 속도 향상의 이점을 얻고 있음이 입증되었다.
• ZX-계산법의 사용은 언어 다이어그램을 직접 실행 가능한 양자 회로로 변환할 수 있게 하여, 추상적인 언어적 조합과 물리적 양자 하드웨어 사이의 다리를 놓는다.
• 고립된 맥락이 아닌 전체 문장의 의미로부터 단어 의미를 학습함으로써, 문법에 기반한 의미 인식 시스템을 구축할 수 있으며, 이는 블랙박스 고전적 접근보다 해석 가능성이 뛰어나다.
• 변분 양자 회로를 통해 문장 수준의 의미 사양에서 종단 간으로 단어 의미를 학습할 수 있으며, 최적화 절차를 통해 의미 제약 조건에서 가장 적합한 단어 벡터를 유도할 수 있다.