[논문 리뷰] lambeq: An Efficient High-Level Python Library for Quantum NLP

Dimitri Kartsaklis, Ian Fan외 8명|arXiv (Cornell University)|2021. 10. 08.

Scientific Computing and Data Management참고 문헌 32인용 수 9

한 줄 요약

lambeq는 문장을 스트링 다이어그램과 텐서 네트워크를 통해 양자 회로로 변환하는 방식으로 엔드 투 엔드 양자 자연어 처리(QNLP)를 가능하게 하는 오픈소스 고수준 파이썬 라이브러리입니다. 다양한 조합 모델을 지원하며, 문법 구문 분석, 회로 최적화, 양자 및 고전적 머신 러닝 프레임워크와의 통합이 가능하여, 소규모 NLP 벤치마크에서 노이즈 없는 및 노이즈 있는 양자 시뮬레이션 모두에서 완벽한 테스트 정확도를 달성합니다.

ABSTRACT

We present lambeq, the first high-level Python library for Quantum Natural Language Processing (QNLP). The open-source toolkit offers a detailed hierarchy of modules and classes implementing all stages of a pipeline for converting sentences to string diagrams, tensor networks, and quantum circuits ready to be used on a quantum computer. lambeq supports syntactic parsing, rewriting and simplification of string diagrams, ansatz creation and manipulation, as well as a number of compositional models for preparing quantum-friendly representations of sentences, employing various degrees of syntax sensitivity. We present the generic architecture and describe the most important modules in detail, demonstrating the usage with illustrative examples. Further, we test the toolkit in practice by using it to perform a number of experiments on simple NLP tasks, implementing both classical and quantum pipelines.

연구 동기 및 목표

• 이론적 QNLP와 근접한 양자 하드웨어에서의 실용적 구현 간 격차를 메우기 위해.
• 연구자들이 양자 NLP 파ip라인을 프로토타이핑하고 실험할 수 있도록 모듈러하고 확장 가능하며 사용자 友好的한 툴킷을 제공하기 위해.
• 백오프워드, 어순, 그리고 구문 기반 DisCoCat를 포함한 다양한 조합 모델을 지원하여, 다양한 수준의 구문 민감도를 제공하기 위해.
• PyTorch 및 JAX와 같은 양자 컴파일러 및 고전적 ML 라이브러리와의 원활한 통합을 가능하게 하여 학습 및 시뮬레이션을 지원하기 위해.
• 향후 그림 기반 미분, 트랜스포머 기반 분석, 문서 수준의 논의 모델링과 같은 고급 기능 지원을 위한 기반을 마련하기 위해.

제안 방법

• 파이프라인은 최신 기술의 파서를 통합한 Combinatory Categorial Grammar (CCG) 분석을 통해 문법적 구조를 생성함으로써 시작됨.
• DisCoPy는 다이어그램적 추론 및 텐서 네트워크 조작을 위한 백엔드 라이브러리로서, 분석 트리를 스트링 다이어그램으로 변환함.
• 스트링 다이어그램은 회로 변환 전에 단순화하거나 최적화하기 위해 재작성 규칙을 통해 변환됨.
• 스트링 다이어그램은 매개변수화된 안사에 의해 양자 회로로 매핑되며, 양자 및 고전적(텐서 네트워크) 실행 방식을 모두 지원함.
• IBM Quantum Aer 시뮬레이터를 사용하여 노이즈 없는 및 노이즈 있는 양자 시뮬레이션을 지원하며, 최적화 알고리즘으로 SPSA를 사용함.
• 툴킷은 확장 가능하도록 설계되어, 새로운 조합 모델, 파서, 안사, 향후 그림 기반 미분을 통한 양자 머신 러닝의 자동 미분 통합이 가능함.

실험 결과

연구 질문

• RQ1 고수준이고 모듈러한 파이썬 라이브러리가 자연어에서 양자 회로로의 엔드 투 엔드 QNLP 파이프라인을 간소화할 수 있는가?
• RQ2 백오프워드에서 구문 민감한 DisCoCat에 이르기까지 다양한 조합 모델은 양자 NLP 모델의 성능과 표현력에 어떤 영향을 미치는가?
• RQ3 노이즈 있는 시뮬레이터에서 SPSA를 통해 훈련된 양자 회로는 소규모 NLP 작업에서 높은 정확도를 달성할 수 있는가?
• RQ4 동일한 파이프라인이 최소한의 코드 변경으로 고전적 텐서 네트워크 학습과 양자 회로 실행 모두에 사용될 수 있는가?
• RQ5 그림 기반의 조합적 접근 방식을 통해 언어적 구조를 유지하면서 QNLP 파이프라인을 확장할 수 있는가의 가능성은 무엇인가?

주요 결과

• 툴킷은 세 가지의 다른 조합 모델을 사용하여 문장을 양자 회로로 성공적으로 변환하였으며, 특히 구문 인식 기반인 DisCoCat 모델이 가장 언어학적으로 충실한 표현을 제공함.
• 텐서 네트워크를 사용한 고전적 실험은 Lorenz 등(2021)의 의미 분류 데이터셋에서 완벽한 정확도를 달성하여, 모델 개발을 위한 고전적 시뮬레이션의 타당성을 입증함.
• 노이즈 없는 양자 시뮬레이션에서는 초기 단계의 불안정성과 변동성에도 불구하고, 양자 파이프라인이 성공적으로 수렴하고 완벽한 테스트 정확도를 확보함.
• 노이즈 있는 샷 기반 시뮬레이션 조건에서도 양자 파이프라인이 완벽한 테스트 정확도를 달성하여, 소규모 실험에서 노이즈에 대한 강건성을 보임.
• 도구는 복제 가능하고 모듈러한 실험을 가능하게 하며, 단일 통합 프레임워크 내에서 양자 및 고전 워크플로우를 모두 지원함.
• 이미 이전 연구에서 사용되었으며, 하드웨어에서의 초기 QNLP 실험과 'Alice in Wonderland'에서 유래한 3,000개가 넘는 분석 문장으로 구성된 대규모 DisCoCat 리소스 제작에도 기여함.