[論文レビュー] Beyond Classical Attention: Quantum Attention for Scalable Computation

Yeqi Gao, Zhao Song+2 more|arXiv (Cornell University)|Jul 16, 2023

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）におけるスパースなアテンション行列の計算において、グローバーの探索アルゴリズムを活用することで多項式的高速化を達成する量子アテンションメカニズムを提案する。アテンションスコアのスパarsityを活用し、量子アモニチュード増幅を用いることで、時間計算量を O(n²d) から Õ(n¹·⁵k⁰·⁵d + nkd) に低減し、誤差の上限が保証されており、トレーニングに有益な低ランク構造を有する。

ABSTRACT

As large language models (LLMs) demonstrate outstanding performance across various tasks, attention-driven models have profoundly transformed the field of machine learning. Since attention computations account for the primary computational overhead in both model inference and training, efficiently computing attention matrices has become one of the core challenges in accelerating large language models. It is well-known that quantum machines possess computational advantages over classical machines, and the role of quantum computing in LLMs remains largely unexplored. In this work, we focus on leveraging the Grover search algorithm to efficiently compute a sparse attention matrix. Through comparisons with classical algorithms, we demonstrate that our method achieves quantum acceleration in polynomial time. Additionally, we observe that the generated quantum attention matrices naturally exhibit low-rank structures, providing further theoretical support for efficient modeling. Moreover, within the specific context of attention matrix computation, we conduct a systematic and detailed analysis of the error and time complexity of the proposed algorithm.

研究の動機と目的

• 大規模言語モデル（LLMs）における古典的自己アテンションの高い計算コスト（O(n²d)）を軽減すること。
• 量子コンピューティングが、特にスパarsityの活用を通じて、LLMsにおけるアテンション計算を加速できるかどうかを検討すること。
• 古典的手法よりも明示的な高速化を達成するが、同時に正確性を維持する量子アルゴリズムを設計すること。
• 提案された量子アテンションメカニズムの時間計算量と誤差上限を分析すること。

提案手法

• この手法は、各クエリトークンごとに k 個の最大アテンションスコアを特定するためにグローバーの探索アルゴリズムを用いる。これは、QKᵀ 行列におけるスパarsityを活用する。
• 量子オракルを用いて、(QKᵀ)_{i,j} ≥ τ を満たすインデックス j をマークすることで、スパースなアテンション行列 B を構築する。
• アモニチュード増幅を適用することで、高スコアのアテンションエントリを特定する際に二次的高速化を達成する。
• 得られたスパース行列 B を用いて、D(B)⁻¹BV によってアテンション出力を計算し、スパース部分の時間計算量は O(nkd) となる。
• この手法は、その後続のトレーニング段階に有益な低ランク構造を保証する。
• 誤差解析により、古典的アテンション出力 D(A)⁻¹AV と量子出力 D(B)⁻¹BV の差が O(η²) で抑えられることを示す。ここで η は値行列の無限大ノルムの上限である。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムは、大規模言語モデルにおけるアテンション計算にスケーラブルな高速化を提供できるか？
• RQ2 アテンションスコアのスパarsityを活用することで、アテンション行列計算において実用的な量子優位性が得られるか？
• RQ3 古典的手法と比較して、量子アテンションメカニズムの時間計算量と誤差耐性はどの程度か？
• RQ4 量子で構築されたアテンション行列は、効率的なファインチューニングとトレーニングに有用な低ランク構造を保持できるか？

主な発見

• 提案された量子アルゴリズムは、時間計算量 Õ(n¹·⁵k⁰·⁵d + nkd) を達成し、古典的手法の O(n²d) に対して多項式的高速化を実現する。
• 量子アテンション行列 B は低ランク構造を示しており、LLMsのトレーニングをより高速化できる可能性がある。
• 古典的アテンション出力 D(A)⁻¹AV と量子出力 D(B)⁻¹BV の間の誤差は、O(η²) で抑えられ、ここで η = ||V||∞ である。
• この手法は、各クエリに対して k 個の高スコアアテンションエントリを特定するためにグローバーの探索に依存しており、計算をスパース操作に効果的に削減する。
• 誤差は値行列のノルムに二次的に依存し、有界な摂動に対してもロバストである。
• 理論的枠組みにより、特にLLMsで一般的なスパースな状況において、アテンション機構における量子加速の基盤を確立した。