[论文解读] Beyond Classical Attention: Quantum Attention for Scalable Computation

Yeqi Gao, Zhao Song+2 more|arXiv (Cornell University)|Jul 16, 2023

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

本文提出了一种量子注意力机制，利用Grover搜索算法在计算大规模语言模型（LLMs）的稀疏注意力矩阵时实现多项式加速。通过利用注意力分数中的稀疏性并应用量子振幅放大，该方法将时间复杂度从O(n²d)降低至Õ(n¹·⁵k⁰·⁵d + nkd)，并具有可证明的误差界，同时具备有利于训练的低秩结构。

ABSTRACT

As large language models (LLMs) demonstrate outstanding performance across various tasks, attention-driven models have profoundly transformed the field of machine learning. Since attention computations account for the primary computational overhead in both model inference and training, efficiently computing attention matrices has become one of the core challenges in accelerating large language models. It is well-known that quantum machines possess computational advantages over classical machines, and the role of quantum computing in LLMs remains largely unexplored. In this work, we focus on leveraging the Grover search algorithm to efficiently compute a sparse attention matrix. Through comparisons with classical algorithms, we demonstrate that our method achieves quantum acceleration in polynomial time. Additionally, we observe that the generated quantum attention matrices naturally exhibit low-rank structures, providing further theoretical support for efficient modeling. Moreover, within the specific context of attention matrix computation, we conduct a systematic and detailed analysis of the error and time complexity of the proposed algorithm.

研究动机与目标

• 为解决经典自注意力在大规模语言模型（LLMs）中计算成本过高的问题，其时间复杂度为O(n²d)。
• 探索量子计算是否能够通过稀疏性利用加速LLMs中的注意力计算。
• 设计一种量子算法，在保持精度的同时相对于经典方法实现可证明的加速。
• 分析所提出的量子注意力机制的时间复杂度与误差界。

提出的方法

• 该方法利用Grover搜索算法识别每个查询标记的k个最大注意力分数，从而利用QKᵀ矩阵中的稀疏性。
• 通过量子预言机标记满足(QKᵀ)_{i,j} ≥ τ的索引j，构建稀疏注意力矩阵B。
• 该算法应用振幅放大以在寻找高分注意力条目时实现二次加速。
• 通过D(B)⁻¹BV计算得到的稀疏矩阵B，其时间复杂度为O(nkd)，适用于稀疏部分。
• 该方法确保注意力矩阵中具有低秩结构，可能加速后续的训练阶段。
• 误差分析表明，经典注意力输出D(A)⁻¹AV与量子输出D(B)⁻¹BV之间的差异被限制在O(η²)以内，其中η为值矩阵的无穷范数的上界。

实验结果

研究问题

• RQ1 量子算法能否为大规模语言模型中的注意力计算提供可扩展的加速？
• RQ2 在注意力分数中利用稀疏性是否能实现注意力矩阵计算中的实际量子优势？
• RQ3 与经典方法相比，量子注意力机制的时间复杂度和误差容忍度如何？
• RQ4 通过量子构造的注意力矩阵是否能保持对高效微调和训练有用的低秩结构？

主要发现

• 所提出的量子算法实现了Õ(n¹·⁵k⁰·⁵d + nkd)的时间复杂度，相较于经典方法O(n²d)具有多项式加速。
• 量子注意力矩阵B表现出低秩结构，可能有助于加快LLMs的训练速度。
• 经典注意力输出D(A)⁻¹AV与量子输出D(B)⁻¹BV之间的误差被限制在O(η²)以内，其中η = ||V||∞。
• 该方法依赖Grover搜索识别每个查询的k个高分注意力条目，从而将有效计算减少为稀疏操作。
• 该算法在有界扰动下具有鲁棒性，误差随值矩阵范数的平方增长。
• 该理论框架为注意力机制中的量子加速奠定了基础，尤其适用于LLMs中常见的稀疏场景。