[논문 리뷰] Adapting Pre-trained Language Models for Quantum Natural Language Processing

Qiuchi Li, Benyou Wang외 3명|arXiv (Cornell University)|2023. 02. 24.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 양자 회로와 호환되는 복소수 BERT 유사 모델(QBert)을 사전 훈련하여 양자 천연어 처리(QNLP)를 위한 최초의 고전-양자 전이 학습 프레임워크를 제안한다. 문장 표현을 양자 상태로 인코딩하고 양자 호환 훈련을 통해 QBert는 GLUE 벤치마크에서 종단 간 양자 모델의 정확도를 50–60% 향상시킨다. 이는 사전 훈련된 양자 인코딩을 통해 상당한 성능 향상을 입증한다.

ABSTRACT

The emerging classical-quantum transfer learning paradigm has brought a decent performance to quantum computational models in many tasks, such as computer vision, by enabling a combination of quantum models and classical pre-trained neural networks. However, using quantum computing with pre-trained models has yet to be explored in natural language processing (NLP). Due to the high linearity constraints of the underlying quantum computing infrastructures, existing Quantum NLP models are limited in performance on real tasks. We fill this gap by pre-training a sentence state with complex-valued BERT-like architecture, and adapting it to the classical-quantum transfer learning scheme for sentence classification. On quantum simulation experiments, the pre-trained representation can bring 50\% to 60\% increases to the capacity of end-to-end quantum models.

연구 동기 및 목표

• 고전-양자 전이 학습을 통해 사전 훈련된 언어 모델과 QNLP 간 격차를 메우기 위해 NLP에서 고전-양자 전이 학습을 가능하게 하기 위해.
• 선형 양자 연산에 제한되고 확장성이 낮은 종단 간 양자 모델의 한계를 극복하기 위해.
• 높은 성능를 유지하면서도 양자 상태 표현과 호환되는 복소수 BERT 유사 아키텍처를 설계하기 위해.
• 사전 훈련된 양자 인코딩이 양자 NLP 모델의 표현 능력을 상당히 향상시킨다는 것을 입증하기 위해.
• 기존의 텐서 네트워크 기반 QNLP 모델에 비해 확장성 있고 견고하며 양자 호환성을 갖춘 대안을 제공하기 위해.

제안 방법

• 모든 네트워크에서 양자 상태 호환성을 확보하기 위해 단위 노름을 갖춘 [CLS] 토큰 표현을 사용하여 복소수 BERT 모델(QBert)을 사전 훈련한다.
• 파arameterized unitary 변환을 사용하여 변이형 양자 측정을 시뮬레이션하는 next sentence prediction (NSP) 헤드를 재구현한다.
• 복소수 attention 및 feed-forward 레이어에 단위성 제약 조건을 적용하여 양자 상태의 정밀도를 유지한다.
• 표준 AdamW보다 수렴성과 훈련 안정성을 향상시키기 위해 고유의 복소수 AdamW 최적화기(CAdamW)를 사용한다.
• 하이브리드 고전-양자 추론을 가능하게 하기 위해 파arameterized unitary를 갖는 작업 전용 변이형 양자 회로를 훈련하여 모델을 미세 조정한다.
• Qiskit를 사용하여 양자 회로 행동을 고전적으로 시뮬레이션하여 고전 구현과 양자 구현 간 등가성을 확인한다.

Figure 1: Classical-quantum transfer learning pipeline Mari et al. ( 2020 ) .

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 표현이 복소수 아키텍처를 통해 NLP 분야에서 양자 계산 프레임워크에 적절하게 적응될 수 있는가?
• RQ2 기존의 순수 양자 훈련에 비해 고전-양자 전이 학습이 종단 간 양자 NLP 모델의 성능을 상당히 향상시키는가?
• RQ3 성능을 저하시키지 않고도 복소수 신경망이 효과적으로 사전 훈련되고 양자 호환 NLP 작업에 대해 미세 조정될 수 있는가?
• RQ4 문장 표현의 양자 호환 사전 훈련이 양자 NLP 모델의 확장성과 견고성에 어떤 영향을 미치는가?
• RQ5 특수 설계된 복소수 최적화기(CAdamW)가 양자 호환 BERT 모델의 수렴성과 모델 품질에 어떤 영향을 미치는가?

주요 결과

• QBert-base는 CoLA 데이터셋에서 88.2%의 GLUE 점수를 기록하여 종단 간 양자 모델 QCLS-end2end보다 상대 정확도 향상률 61.8%를 기록한다.
• QBert-base는 여러 GLUE 데이터셋에서 종단 간 양자 모델의 성능을 50–60% 향상시켜 표현 능력 향상에 상당한 기여를 한다.
• CAdamW 최적화기를 사용하는 복소수 BERT 모델은 표준 AdamW보다 더 빨리 수렴하고 더 낮은 훈련 손실에 도달하여 복소수 훈련에 있어 우수성을 입증한다.
• QBert-base는 크기가 유사한 실수수 BERT의 95% 성능을 유지하여 양자 호환성이 모델 품질을 떨어뜨리지 않음을 입증한다.
• 고전적 시뮬레이션된 양자 미세 조정 회로는 전체 양자 구현과 동일한 결과를 보이며 하이브리드 고전-양자 훈련의 가능성을 검증한다.
• DisCoCat 및 기타 종단 간 양자 모델은 QBert 기반 모델보다 상당히 열 劣하므로 사전 훈련된 양자 인코딩의 우수성을 강조한다.

Figure 2: Mapping the classical-quantum transfer learning scheme to our complex-valued PLM. The MLM prediction head for PLM and the linear projection layer of the quantum model are omitted.