[논문 리뷰] Quantum Self-Attention Neural Networks for Text Classification

Guangxi Li, Xuanqiang Zhao외 1명|arXiv (Cornell University)|2022. 05. 11.

Quantum Computing Algorithms and Architecture인용 수 13

한 줄 요약

이 논문은 가우시안 투영된 양자 자기주의를 사용하여 양자 회로의 파arameterized 회로와 자기주의 기반 메커니즘을 통합한 새로운 양자 신경망 아키텍처인 양자 자기주의 신경망(QSANN)을 제안한다. QSANN은 기존의 고전적 자기주의 네트워크와 기존의 문법 기반 양자 자연어 처리 모델보다 뛰어난 텍스트 분류 성능를 보이며, 근접한 양자 장치에서 확장 가능하고 노이즈에 강건함을 입증한다.

ABSTRACT

An emerging direction of quantum computing is to establish meaningful quantum applications in various fields of artificial intelligence, including natural language processing (NLP). Although some efforts based on syntactic analysis have opened the door to research in Quantum NLP (QNLP), limitations such as heavy syntactic preprocessing and syntax-dependent network architecture make them impracticable on larger and real-world data sets. In this paper, we propose a new simple network architecture, called the quantum self-attention neural network (QSANN), which can compensate for these limitations. Specifically, we introduce the self-attention mechanism into quantum neural networks and then utilize a Gaussian projected quantum self-attention serving as a sensible quantum version of self-attention. As a result, QSANN is effective and scalable on larger data sets and has the desirable property of being implementable on near-term quantum devices. In particular, our QSANN outperforms the best existing QNLP model based on syntactic analysis as well as a simple classical self-attention neural network in numerical experiments of text classification tasks on public data sets. We further show that our method exhibits robustness to low-level quantum noises and showcases resilience to quantum neural network architectures.

연구 동기 및 목표

• 기존의 양자 자연어 처리(QNLP) 모델이 문법 전처리에 크게 의존하고 대규모 데이터셋에 확장성이 부족한 점을 해결하기 위해.
• 근접한 노이즈가 있는 중규모 양자(NISQ) 장치에서 구현 가능하고 유연하고 확장 가능한 양자 신경망 아키텍처를 개발하기 위해.
• 자기주의 기반 메커니즘이 텍스트 분류 과제에서 복잡한 단어 간 상관관계를 포착하는 데 있어 양자 신경망에서의 잠재력을 탐색하기 위해.
• 실제 양자 노이즈와 다양한 양자 회로 아키텍처에 대한 제안된 모델의 강건성 평가하기 위해.
• 실용적이고 회로 기반으로 실행 가능한 양자 모델을 사용하여 자연어 처리 과제에서 양자 우월성 잠재력을 입증하기 위해.

제안 방법

• 입력 텍스트 시퀀스를 진폭 인코딩을 통해 고차원 양자 상태로 인코딩한다.
• 쿼리, 키, 밸류 변환을 양자 게이트를 통해 수행하는 자기주의 기반 메커니즘에 따라 구성된 파arameterized 양자 회로(PQC)를 사용한다.
• 가우시안 투영 측정을 사용하여 양자 상태 간의 겹침을 측정함으로써 가우시안 투영된 양자 자기주의(GPQSA) 레이어가 자기주의 점수를 계산한다.
• 현재 NISQ 하드웨어와의 호환성을 확보하기 위해 파울리-Z 측정을 사용한 얕은 양자 회로를 사용한다.
• 회로 아키텍처 강건성 평가를 위해 다양한 얽힘 패턴을 가진 네 가지의 서로 다른 안사즈(Ansatz-0에서 Ansatz-3까지)를 설계하였다.
• 실제 하드웨어 제약 조건을 시험하기 위해 오차율 $ p = 0.1 $ 인 탈구성 채널을 사용해 노이즈를 시뮬레이션하였다.

실험 결과

연구 질문

• RQ1 자기주의 기반 양자 신경망이 기존의 문법 의존 QNLP 모델보다 텍스트 분류 과제에서 성능이 뛰어나게 되는가?
• RQ2 공개된 텍스트 분류 벤치마크에서 제안된 QSANN 모델은 고전적 자기주의 신경망과 비교해 어떻게 성능을 내는가?
• RQ3 QSANN은 양자 회로 아키텍처(안사즈 설계)의 변화와 양자 노이즈에 얼마나 강건한가?
• RQ4 가우시안 투영된 양자 자기주의 메커니즘이 텍스트에서 장거리 의존성과 관련 있는 단어 상관관계를 효과적으로 포착할 수 있는가?
• RQ5 한정된 큐비트 수와 노이즈를 가진 근접한 양자 장치에서 QSANN 아키텍처는 실현 가능하고 확장 가능한가?

주요 결과

• Ansatz-0 및 Ansatz-3를 사용하여 MC 데이터셋과 RP 데이터셋에서 각각 67.74% ± 0.00%의 테스트 정확도를 기록하였으며, 이는 기존의 최고 수준의 QNLP 모델과 고전적 자기주의 네트워크를 모두 능가한다.
• 모든 네 종류의 안사즈 유형에서 일관된 성능을 유지하였으며, 테스트 정확도가 67.03%에서 67.74% 사이를 오가며 회로 아키텍처 변화에 대한 높은 강건성을 보였다.
• 탈구성 노이즈 채널($ p = 0.1 $) 조건에서도 안정적인 성능 유지를 보이며, 저수준의 양자 노이즈에 대한 강건성을 입증하였다.
• 주의 계수의 시각화 결과, 모델이 입력 시퀀스에서 가장 관련성이 높은 단어에 효과적으로 집중하고 있음을 확인하여, 주의 메커니즘의 해석 가능성은 검증되었다.
• 모든 안사즈에서 MC 및 RP 데이터셋에서 100%의 훈련 정확도를 달성하여 강력한 모델 용량과 효과적인 최적화를 보였다.
• 얕은 회로와 파울리-Z 측정의 사용으로 현재 NISQ 장치에서 직접 구현이 가능하여, 근접한 양자 하드웨어에 실용적인 모델이 되었다.