[논문 리뷰] Quantum Language Processing

Nathan Wiebe, Alex Bocharov외 3명|arXiv (Cornell University)|2019. 02. 13.

Quantum Computing Algorithms and Architecture참고 문헌 39인용 수 21

한 줄 요약

이 논문은 양자 봄벌름 기계를 통한 양자 언어 처리를 가능하게 하는 언어적 구조를 위한 포크 공간 표현을 제안한다. 언어 문법을 양자 컴퓨터에서 해결할 수 있는 하모니 최적화 문제로 공식화하며, 양자 언어 처리가 BQP-완전임을 증명하고, 은닉 유닛이 있는 경우에도 근사 없이 정확한 학습 방법을 제시한다. 이는 역다항식 샘플 복잡도를 가진다.

ABSTRACT

We present a representation for linguistic structure that we call a Fock-space representation, which allows us to embed problems in language processing into small quantum devices. We further develop a formalism for understanding both classical as well as quantum linguistic problems and phrase them both as a Harmony optimization problem that can be solved on a quantum computer which we show is related to classifying vectors using quantum Boltzmann machines. We further provide a new training method for learning quantum Harmony operators that describe a language. This also provides a new algorithm for training quantum Boltzmann machines that requires no approximations and works in the presence of hidden units. We additionally show that quantum language processing is BQP-complete, meaning that it is polynomially equivalent to the circuit model of quantum computing which implies that quantum language models are richer than classical models unless BPP=BQP. It also implies that, under certain circumstances, quantum Boltzmann machines are more expressive than classical Boltzmann machines. Finally, we examine the performance of our approach numerically for the case of classical harmonic grammars and find that the method is capable of rapidly parsing even non-trivial grammars. This suggests that the work may have value as a quantum inspired algorithm beyond its initial motivation as a new quantum algorithm.

연구 동기 및 목표

• 양자 계산에 적합한 언어적 구조 표현을 개발하기 위해.
• 양자 프레임워크 내에서 언어 처리를 하모니 최적화 문제로 공식화하기 위해.
• 은닉 유닛이 있는 경우에도 근사 없이 정확한 학습 알고리즘을 제공하기 위해.
• 양자 언어 처리의 계산 복잡도를 규명하고, 고전 모델 대비 잠재적인 지수적 우수성을 입증하기 위해.
• 복잡한 문법을 분석하기 위한 양자 유도 고전 알고리즘의 실현 가능성을 평가하기 위해.

제안 방법

• 해석 트리를 초위상 상태로 표현하기 위해 기호-위치 쌍의 초위상 중첩을 사용하는 포크 공간 표현을 제안한다.
• 위치 역할을 갖는 텐서 곱 표현(TPR)을 사용하여 이진 해석 트리를 |ψ⟩ = Σᵢ |sᵢ⟩ ⊗ |nᵢ⟩ 방식으로 양자 상태로 인코딩한다.
• 언어적 문법을 양자 해밀토니안으로 매핑하여, 문법적 문장이 하모니를 최대화하도록 하며, 하모니는 해밀토니안의 기댓값의 음수로 정의된다.
• 에너지 함수가 언어적 구조의 하모니에 해당하는 방식으로 양자 봄벌름 기계를 언어 모델링에 적용한다.
• 성공 확률를 보장하기 위해 O(log k) 번의 반복을 사용하는 정확한 기울기 계산을 통한 기울기 기반 학습 방법을 개발한다.
• 최악의 기울기 편차 조건 하에서 Õ(D²/δ²)의 역다항식 샘플 복잡도를 달성하는 양자 유도 고전 최적화 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 포크 공간 표현을 사용하여 언어적 구조를 양자 계산 가능한 형태로 효율적으로 인코딩할 수 있는가?
• RQ2 양자 언어 처리가 BQP-완전한가? 이는 고전 모델 대비 잠재적인 지수적 속도 향상을 의미하는가?
• RQ3 은닉 유닛이 있는 경우에도 근사 없이 양자 봄벌름 기계를 정확하게 학습시킬 수 있는가?
• RQ4 제안된 학습 방법은 목표 정확도와 모델 복잡도에 대해 어떻게 스케일링되는가?
• RQ5 양자 유도 고전 알고리즘은 고전 하드웨어에서 복잡한 문법을 효율적으로 분석할 수 있는가?

주요 결과

• 양자 언어 처리가 BQP-완전임을 증명하였으며, 이는 양자 회로 모델과 다항식적으로 등가이며, BPP = BQP가 아닐 경우 고전 모델보다 지수적으로 더 강력할 수 있음을 시사한다.
• 제안된 양자 봄벌름 기계 학습 알고리즘은 Õ(D²/δ²)개의 샘플을 요구하며, δ는 일부 상수 c에 대해 O(ϵ¹⁺ᶜ/‖ω*−ω₀‖ᶜ)로 스케일링되어 목표 오차 ϵ에 대한 역다항식 의존성을 보여준다.
• 은닉 유닛이 존재하는 경우에도 O(log k) 번의 반복을 통해 근사 없이 정확한 기울기 계산을 수행할 수 있으며, 이는 양자 봄벌름 기계의 기울기 평가에 적용된다.
• 수치 시뮬레이션 결과, 양자 유도 고전 최적화 방법이 비트리비어한 형식 문법을 빠르게 분석할 수 있음을 보여주며, 양자 응용을 넘어서 실용적 유용성을 시사한다.
• 포크 공간 표현은 소수의 큐비트로 언어적 구조를 압축하여 인코딩할 수 있어, 텐서 곱 표현 대비 확장 가능한 대안을 제공한다.
• 이 프레임워크는 양자 언어 처리와 양자 오류 수정 코드 사이에 깊은 연결을 드러내며, 공통된 구조적 원칙을 공유하고 있음을 시사한다.