[論文レビュー] Quantum-Inspired Self-Attention in a Large Language Model

Nikita Kuznetsov, Niyaz Ismagilov+1 more|arXiv (Cornell University)|Feb 9, 2026

Quantum Computing Algorithms and Architecture被引用数 0

ひとこと要約

要約: 本論文は古典的な量子風自己注意（QISA）とその実装可能な派生形QISA-Aを導入し、それらをGPT-1に組み込み、標準の自己注意と比較してCER、WER、クロスエントロピーで性能向上を示す。推論時間の増加は控えめ。

ABSTRACT

Recent advances in Natural Language Processing have been predominantly driven by transformer-based architectures, which rely heavily on self-attention mechanisms to model relationships between tokens in a sequence. Similarly, the field of Quantum Natural Language Processing, which seeks to leverage quantum principles to address challenges in language understanding and generation tasks, has seen the recent development of quantum self-attention mechanisms. We propose a classical quantum-inspired self-attention (QISA) mechanism and integrate it into the full autoregressive language modeling pipeline of GPT-1. To the best of our knowledge, this is the first integration of this kind, as previous quantum self-attention mechanisms have been primarily tested on text classification. In our experiments, QISA achieves better performance when compared to standard self-attention on the metrics character error rate ($15.5 imes$ better), word error rate ($4.7 imes $) and cross-entropy loss ($13 imes$). This is achieved while only requiring a $ 2.6 imes$ longer inference time.

研究の動機と目的

• transformerにおける標準自己注意の計算コスト上昇に対して効率的な代替案を模索する動機づけ。
• クラシカルな量子風自己注意機構（QISA）と、その適用可能な派生形（QISA-A）を提案し、自己回帰言語モデルパイプラインへ統合する。
• Shakespeare テキストを用いたGPT-1ベースの設定でQISA/QISA-AをCSAおよびQSANN変種と経験的に評価する。
• QISA/QISA-AがQSAsと同等以上または上回る性能を示しつつ推論速度を合理的に維持することを示す。
• パラメータ効率と、より大きな埋め込みサイズや将来の量子ハードウェアでのスケーラビリティの可能性について検討する。

提案手法

• 自己注意の多頭の値ベクトル層を、パウリ観測の期待値に基づく量子風の値計算に置換する。
• 学習可能な線形変換とパウリ文字列を用いて、量子測定に類似したトークンごとの特徴を計算する（式6-8）。
• QとKは古典的な線形射影のままに保ち、Vの古典的なシミュレーション（あるいはQISA-Aの量子ansatz）を導入する。
• QISA、QISA-A、および3つのQSANN変種をGPT-1に統合した完全な自己回帰パイプラインで標準的な因果マスクを適用する。
• Shakespeare テキストを文字レベルのトークン化で構成した設定で訓練・評価し、CE、CER、WERを比較する。
• simulated quantumモデルの観測値をヘイゼンベルグ描像でキャッシュすることで推論時の最適化を提供する。

Figure 1 : Left: Standard transformer block structure used in language models. Right: Modified multi-head self-attention where the standard value layer is replaced with a quantum-inspired one.

実験結果

リサーチクエスチョン

• RQ1 QISAはCSAと比較して言語モデリングタスクで標準自己注意の性能を改善するか。
• RQ2 QISAはGPT-1自己回帰設定においてCE、CER、WERの観点でQSANN変種とどのように比較されるか。
• RQ3 QISAおよびQISA-Aのパラメータ数と待機時間は、GPT-1へ統合した場合にCSAおよびQSANNと比べてどうなるか。
• RQ4 量子デプロイ可能派生形（QISA-A）は、将来の量子ハードウェアに適した少ないパラメータで同様の性能を達成できるか。
• RQ5 埋め込みサイズとヘッド数は、QISA/QISA-AとCSAの相対的な性能にどのような影響を与えるか。

主な発見

モデル	Embedding 4, 1 head CE	CER	WER	Embedding 16, 1 head CE	CER	WER	Embedding 16, 4 heads CE	CER	WER
CSA	2.72±0.05	0.74±0.10	1.34±0.48	2.16±0.07	0.62±0.12	1.17±0.36	2.16±0.07	0.62±0.11	1.18±0.37
QISA	2.30±0.07	0.68±0.11	1.02±0.19	0.16±0.00	0.04±0.02	0.25±0.19	0.16±0.00	0.04±0.02	0.25±0.18
QISA-A (1 head)	2.27±0.06	0.680±0.12	1.06±0.19	0.16±0.00	0.04±0.02	0.04±0.02	0.16±0.00	0.04±0.02	0.04±0.02
QISA-A (2 heads)	2.28±0.07	0.679±0.10	1.05±0.20	0.16±0.00	0.04±0.02	0.04±0.02	0.17±0.01	0.04±0.02	0.04±0.02
QISA-A (3 heads)	2.27±0.06	0.679±0.10	1.06±0.19	0.16±0.00	0.04±0.02	0.04±0.02	0.16±0.00	0.04±0.02	0.04±0.02
QSANN (1 head)	2.34±0.07	0.69±0.09	1.34±0.45	2.33±0.07	0.68±0.09	1.34±0.46	2.33±0.07	0.70±0.10	1.35±0.45
QSANN (2 heads)	2.33±0.07	0.68±0.09	1.33±0.46	2.33±0.07	0.68±0.09	1.34±0.46	2.33±0.07	0.70±0.10	1.35±0.45
QSANN (3 heads)	2.35±0.08	0.70±0.10	1.35±0.45	2.35±0.07	0.69±0.10	1.35±0.45	2.35±0.08	0.70±0.10	1.35±0.45
QSANNv1 (1 head)	2.35±0.07	0.70±0.09	1.33±0.46	2.34±0.07	0.71±0.09	1.34±0.45	2.36±0.07	0.69±0.09	1.32±0.47
QSANNv1 (2 heads)	2.34±0.07	0.71±0.09	1.34±0.45	2.34±0.07	0.73±0.10	1.34±0.45	2.34±0.07	0.69±0.09	1.34±0.45
QSANNv1 (3 heads)	2.36±0.07	0.69±0.09	1.32±0.47	2.36±0.07	0.69±0.09	1.34±0.45	2.36±0.07	0.69±0.09	1.32±0.47
QSANNv2 (1 head)	2.29±0.07	0.68±0.10	1.49±0.44	2.28±0.07	0.67±0.10	1.49±0.44	2.30±0.07	0.69±0.10	1.48±0.44
QSANNv2 (2 heads)	2.28±0.07	0.21?	0.22?	0.21?	0.22?	0.07?	0.21?	0.18?	0.18?

• QISAはEmbeddingサイズが16のとき、CSAと比較してCERを15.5倍、WERを4.7倍、クロスエントロピー損失を13倍低減する。
• QISAおよびQISA-AはCE、CER、WERの大半の設定でCSAを上回り、埋め込みサイズが大きくなると利得が拡大する。
• QSANN変種は競争的な性能を示すが、報告された指標ではQISAがしばしばそれらに匹敵するか上回る。
• QISAの推論時間はCSAの2.6倍長いが、 simulated quantumモデルの訓練時間は著しく長い。
• QISA-Aはパラメータ効率が高く、将来の量子ハードウェアでの利点を持ちつつ同等の性能を達成できる可能性がある。
• QM風モデルは一般にCSAよりヘッドあたりのパラメータ数が少ない（特にQSANNv1/v2）ことが多く、パラメータ効率の可能性を示す。

Figure 2 : One layer of the hardware efficient ansatz.