[論文レビュー] Quantum-Enhanced Attention Mechanism in NLP: A Hybrid Classical-Quantum Approach

S. M. Yousuf Iqbal Tomal, Abdullah Al Shafin+3 more|ArXiv.org|Jan 26, 2025

Quantum Computing Algorithms and Architecture被引用数 3

ひとこと要約

ハイブリッド古典-量子トランスフォーマー（QET）は量子カーネル類似性、変分量子回路、QFTを用いて注意機構を改善し、IMDb感情分析で古典的トランスフォーマーより高い精度と効率を実現します。

ABSTRACT

Recent advances in quantum computing have opened new pathways for enhancing deep learning architectures, particularly in domains characterized by high-dimensional and context-rich data such as natural language processing (NLP). In this work, we present a hybrid classical-quantum Transformer model that integrates a quantum-enhanced attention mechanism into the standard classical architecture. By embedding token representations into a quantum Hilbert space via parameterized variational circuits and exploiting entanglement-aware kernel similarities, the model captures complex semantic relationships beyond the reach of conventional dot-product attention. We demonstrate the effectiveness of this approach across diverse NLP benchmarks, showing improvements in both efficiency and representational capacity. The results section reveal that the quantum attention layer yields globally coherent attention maps and more separable latent features, while requiring comparatively fewer parameters than classical counterparts. These findings highlight the potential of quantum-classical hybrid models to serve as a powerful and resource-efficient alternative to existing attention mechanisms in NLP.

研究の動機と目的

• NLP におけるトランスフォーマーモデルの計算量削減の必要性を動機づける。
• トークン依存関係を洗練させるためのハイブリッド古典-量子アテンション機構を開発する。
• 標準的な NLP タスクでデータが限られた場合に、QET を古典的トランスフォーマーと比較して評価する。
• 実世界の NLP 応用におけるハイブリッドモデルの計算効率とスケーラビリティを評価する。

提案手法

• 量子カーネル類似性と変分量子回路（VQC）をアテンションに統合した Quantum-Enhanced Transformer（QET）アーキテクチャを導入する。
• RY 回転と CNOT ゲートを用いた量子カーネル回路でトークン類似性を算出する。
• 強くエンタングルされる層と量子フーリエ変換（QFT）を含む VQC でアテンションウェイトを洗練する。
• 標準的な QKV アテンションの流れに量子出力を統合し、ソフトマックス正規化でアテンションウェイトを生成する。
• クロスエントロピー損失と Adam オプティマイザを用いて IMDb データセット（1000 サンプル）で QET を古典トランスフォーマーと訓練・比較する。

Figure 1: QET Architecture Flow Diagram

実験結果

リサーチクエスチョン

• RQ1 量子強化アテンション機構は古典的自己注意と比較して NLP 分類性能を改善するか？
• RQ2 量子カーネルと VQC は限られたデータでより複雑なトークン依存性を捉えられるか？
• RQ3 ハイブリッドモデルと古典的トランスフォーマーの計算上のトレードオフと収束挙動はどうなるか？

主な発見

モデル	精度	適合率	再現率	F1スコア
Classical Transformer	64.00%	64.03%	64.00%	63.78%
Quantum Transformer	65.50%	65.59%	65.50%	65.26%

• 量子トランスフォーマーは精度を向上させる（65.50% 対 64.00%）。
• 量子トランスフォーマーは適合度を高く示す（65.59% 対 64.03%）。
• 量子トランスフォーマーは再現率を改善する（65.50% 対 64.00%）。
• 量子トランスフォーマーは F1 スコアを向上させる（65.26% 対 63.78%）。
• 統計検定により全ての改善は有意である（p 値は 0.05 未満を大幅に下回る）。
• 訓練曲線は量子モデルの収束が速く、学習がより堅牢であることを示す。

Figure 2: Quantum Kernel Circuit. The circuit demonstrates the combination of parameterized rotations ( $RY$ ) and the Controlled-NOT (CNOT) gate used to compute quantum token similarities.