[논문 리뷰] Quantum-Enhanced Attention Mechanism in NLP: A Hybrid Classical-Quantum Approach

S. M. Yousuf Iqbal Tomal, Abdullah Al Shafin외 3명|ArXiv.org|2025. 01. 26.

Quantum Computing Algorithms and Architecture인용 수 3

한 줄 요약

하이브리드 고전-양자 트랜스포머(QET)가 양자 커널 유사성, 변분 양자 회로 및 QFT를 사용해 어텐션을 개선하고 IMDb 감정 분석에서 고전 트랜스포머보다 더 높은 정확도와 효율성을 달성합니다.

ABSTRACT

Recent advances in quantum computing have opened new pathways for enhancing deep learning architectures, particularly in domains characterized by high-dimensional and context-rich data such as natural language processing (NLP). In this work, we present a hybrid classical-quantum Transformer model that integrates a quantum-enhanced attention mechanism into the standard classical architecture. By embedding token representations into a quantum Hilbert space via parameterized variational circuits and exploiting entanglement-aware kernel similarities, the model captures complex semantic relationships beyond the reach of conventional dot-product attention. We demonstrate the effectiveness of this approach across diverse NLP benchmarks, showing improvements in both efficiency and representational capacity. The results section reveal that the quantum attention layer yields globally coherent attention maps and more separable latent features, while requiring comparatively fewer parameters than classical counterparts. These findings highlight the potential of quantum-classical hybrid models to serve as a powerful and resource-efficient alternative to existing attention mechanisms in NLP.

연구 동기 및 목표

• 자연어 처리에서 트랜스포머 모델의 계산 비용 감소의 필요성을 동기화한다.
• 토큰 의존성을 정제하기 위한 하이브리드 고전-양자 어텐션 메커니즘을 개발한다.
• 제한된 데이터가 있는 표준 NLP 작업에서 QET를 고전 트랜스포머와 비교 평가한다.
• 현실 세계의 NLP 응용에 대한 하이브리드 모델의 계산 효율성과 확장성을 평가한다.

제안 방법

• 양자 커널 유사성과 변분 양자 회로(VQC)를 주의에 통합하는 Quantum-Enhanced Transformer(QET) 아키텍처를 도입한다.
• RY 회전과 CNOT 게이트를 사용한 양자 커널 회로를 통해 토큰 유사성을 계산한다.
• 강하게 얽힘 층과 양자 푸리에 변환(QFT)을 포함하는 VQC로 주의 가중치를 정교화한다.
• 소프트맥스 정규화를 사용하여 표준 QKV 어텐션 흐름에 양자 출력을 통합하고 주의 가중치를 산출한다.
• 교차 엔트로피 손실과 Adam 옵티마이저를 사용하여 IMDb 데이터셋(1000 샘플)에서 QET를 고전 트랜스포머와 학습 및 비교한다.

Figure 1: QET Architecture Flow Diagram

실험 결과

연구 질문

• RQ1 양자 강화 어텐션 메커니즘이 고전적 자기 주의(self-attention)와 비교하여 NLP 분류 성능을 향상시키는가?
• RQ2 제한된 데이터에서도 양자 커널과 VQC가 더 복잡한 토큰 의존성을 포착할 수 있는가?
• RQ3 하이브리드 모델과 고전 트랜스포머 간의 계산 트레이드오프와 수렴 특성은 무엇인가?

주요 결과

모델	정확도	정밀도	재현율	F1 점수
Classical Transformer	64.00%	64.03%	64.00%	63.78%
Quantum Transformer	65.50%	65.59%	65.50%	65.26%

• 양자 트랜스포머가 더 높은 정확도를 달성한다(65.50% 대 64.00%).
• 양자 트랜스포머가 더 높은 정밀도를 보인다(65.59% 대 64.03%).
• 양자 트랜스포머가 재현율을 개선한다(65.50% 대 64.00%).
• 양자 트랜스포머가 F1 점수를 올린다(65.26% 대 63.78%).
• 통계적 검정에서 모든 개선이 유의한 것으로 나타난다(p-값은 0.05보다 훨씬 작다).
• 학습 곡선은 양자 모델에서 더 빠른 수렴과 더 강건한 학습을 보여준다.

Figure 2: Quantum Kernel Circuit. The circuit demonstrates the combination of parameterized rotations ( $RY$ ) and the Controlled-NOT (CNOT) gate used to compute quantum token similarities.